По возвращении издал сборник стихотворений «Schweizerlieder» (1764), за которым последовал сборник богословского содержания «Aussichten in die Ewigkeit». С 1768 г. до самой смерти Лафатер занимал должность сначала приходского диакона, а потом пастора в своём родном городе. В 1796 г. за протест против оккупации Швейцарии французами он был выслан из
Цюриха, но через несколько месяцев вернулся. С 1769 г. он стал собирать материалы для «Физиономики», которая вышла в 1772—78 гг., в
Лейпциге и
Винтертуре, с массой рисунков лучших по тому времени граверов («Physiognomische Fragmente zur Beförderung der Menschenkenntniss und Menschenliebe»). В 1775—78 гг. вышло французское издание, в Гааге, ещё более удачное в отношении рисунков.
Физиогномика стала главной целью жизни Лафатера, хотя он продолжал заниматься богословскими трудами и проповедями; популярность его, как убежденного и просвещенного пастора, была так велика, что путешествии Лафатера по Европе были рядом триумфов. Обаяние личности Лафатера не могло быть поколеблено остроумными нападками
Лихтенберга («Fragment von Schwärzen»),
Музеуса («Physiognomische Reisen») и др. на «Физиономику».