Андерсонвилль был лагерем для военнопленных Конфедерации, печально известным своими суровыми условиями. Заключенных содержали в переполненных, антисанитарных условиях, им давали мало еды и воды. Многие умерли от болезней, голода или воздействия. Джозайя Куинси был одним из счастливчиков, которым удалось выжить. Он был освобожден из Андерсонвилля в феврале 1865 года и вернулся в свой дом в Бостоне.
Опыт Джозайи Куинси в Андерсонвилле оказал глубокое влияние на его жизнь. Он написал книгу о своем опыте, которая была опубликована в 1866 году. Книга стала бестселлером и помогла повысить осведомленность об условиях в тюрьмах Конфедерации. Куинси также стал сторонником тюремной реформы и работал над улучшением условий содержания военнопленных.