Джеймс Эрл Рэй женился на своей первой жене, Франсин Хьюз, в 1952 году. У них было двое сыновей, Джонни Рэй и Бобби Эрл Рэй. Пара развелась в 1960 году.
Луиза Джонс
Джеймс Эрл Рэй женился на своей второй жене, Луизе Джонс, в 1965 году. У них родилась дочь, Патриция Энн Рэй. Пара развелась в 1968 году.
Анна Сандху
Джеймс Эрл Рэй женился на своей третьей жене, Анне Сандху, в 1978 году, когда пара оба находилась в тюремной системе штата Теннесси. Они развелись в 1992 году.