Бенджамин Холл был шестым из девяти детей Сэмюэля Холла и Мэри Энн Холл (урождённая Рассел). Его братья и сестры:
- Элизабет (1826–1872) — замуж за Уильямом Бартлеттом.
- Мэри Энн (1827–1891) — замуж за Джоном О'Мили.
- Самуил (1829–1868) — женат на Эллен Райн.
- Кэтрин (1830–1911) — замуж за Джоном Магайром.
- Элиза (1831–1911) — замуж за Джоном Кэрроллом.
- Джейн (1833–1920) — замуж за Фрэнсисом Махером.
- Генри (1834–1908) — женат на Мэри Райн.
- Чарльз (1837–1909) — замуж за Элизабет Райн.