В начале своей карьеры Брирли выразил поддержку институту рабства. В письме 1774 года он писал, что «рабство — не зло, а благо». Он утверждал, что рабство необходимо для экономического процветания Соединенных Штатов и что оно обеспечивает афроамериканцам лучшую жизнь, чем та, которую они могли бы иметь в Африке.
Однако взгляды Брирли на рабство начали меняться в конце 1770-х годов. На него повлияло растущее движение за отмену рабства, и он пришел к выводу, что рабство является морально неправильным. В 1780 году он писал, что «рабство есть чудовищное учреждение, противное принципам гуманности».
Меняющиеся взгляды Брирли на рабство очевидны в его действиях как политика. В 1787 году он был президентом Конституционного собрания штата Пенсильвания. Он помог разработать конституцию штата, которая включала положение, запрещающее ввоз новых рабов в Пенсильванию. В 1788 году он был делегатом Конституционного собрания США. Он поддержал включение в Конституцию пункта, запрещающего федеральному правительству отменять рабство в южных штатах.
Взгляды Брирли на рабство в конечном итоге сформировались под влиянием его сложного личного опыта и меняющегося социального и политического климата конца 18 века. Он превратился из сторонника рабства в противника, и его действия помогли заложить основу для возможной отмены рабства в Соединенных Штатах.
