Карлофф родился в Камбервелле, Лондон, в семье англо-индийского дипломата и матери смешанного французского и немецкого происхождения. Свою актерскую карьеру он начал в Великобритании в начале 1910-х годов, снимаясь в постановках и немых фильмах. В 1919 году он переехал в Голливуд, где поначалу изо всех сил пытался добиться успеха.
Он снялся во многих фильмах ужасов Universal Studios 1930-х годов, в том числе «Старый темный дом» (1932), «Маска Фу Маньчжурии» (1932), «Черная комната» (1935) и «Невеста Франкенштейна» (1935). В 1939 году он сыграл роль доктора Франкенштейна в «Сыне Франкенштейна», третьем фильме из серии «Франкенштейн».
В 1940-х годах Карлофф продолжал сниматься в фильмах ужасов, но также начал осваивать и другие жанры, включая комедию, вестерны и драму. Он снялся в таких фильмах, как «Дом Франкенштейна» (1944), «Эббот и Костелло знакомятся с Франкенштейном» (1948) и «Змеиная яма» (1948).
В 1950-е годы карьера Карлоффа пошла на спад, но он продолжал сниматься в фильмах и телешоу вплоть до своей смерти в 1969 году.
Карлофф был женат дважды:сначала на Грейс Рэдклифф с 1915 по 1920 год, а затем на Дороти Стайн с 1924 года до своей смерти. У него была дочь Сара от Рэдклиффа.
Карлофф был высоким мужчиной, ростом 6 футов 4 дюйма (1,93 м). У него был глубокий, звучный голос, который способствовал его успеху как актера ужасов.
Он был уважаемым актером, которым восхищались как коллеги, так и поклонники. Его считают одним из величайших актеров фильмов ужасов всех времен.
В 1999 году Карлофф занял 20-е место в списке 50 величайших легенд американского кино Американского института кино.