Эллсуорт родился на Мальте, штат Нью-Йорк, 11 апреля 1837 года. Он учился в Военной академии США в Вест-Пойнте, но через два года ушел в отставку. Затем он работал журналистом в Чикаго, штат Иллинойс.
Когда в 1861 году разразилась гражданская война, Эллсуорт сформировал 11-й Нью-Йоркский добровольческий пехотный полк, известный как «Огненные зуавы». Зуавы были ярким полком, носившим униформу зуавов, вдохновленную униформой полков зуавов французской армии.
11-й Нью-Йоркский добровольческий пехотный полк был приписан к Потомакской армии генерала Бенджамина Батлера. 24 мая 1861 года полку было приказано занять Александрию, штат Вирджиния, которая располагалась через реку Потомак от Вашингтона, округ Колумбия.
Когда зуавы вошли в Александрию, они столкнулись с флагом Конфедерации, развевающимся над городским отелем «Маршалл Хаус». Эллсворт приказал своим людям снять флаг, а сам взобрался на флагшток, чтобы снять его сам.
Когда Эллсуорт достиг вершины шеста, он был застрелен Джеймсом В. Джексоном, владельцем Маршалл-хауса. Джексон был немедленно убит членом полка Элсворта.
Смерть Элсворта стала серьезным ударом по делу Союза. Он был популярной фигурой, и его смерть помогла активизировать поддержку Союза. Его похороны прошли в Нью-Йорке, и он был похоронен на кладбище Гринвуд.
Смерть Эллсворта также вдохновила на написание популярной песни «Баллада об Элсворте». Песня рассказывает историю жизни и смерти Элсворта, ее пели солдаты по обе стороны Гражданской войны.
Смерть Эллсворта стала важным событием Гражданской войны. Это помогло заручиться поддержкой профсоюза и вдохновило на написание популярной песни. Эллсуорта помнят как героя Гражданской войны, и его память чтят до сих пор.
