Jako prezes niemieckiego sądu konstytucyjnego bardzo dbał o to, aby rozstrzygnięcia zapadały jak największą liczbą głosów bądź jednomyślnie.
Tak jak większość prawników, którzy w 66-letniej historii niemieckiego sądu konstytucyjnego sprawowali urząd prezesa, początkowo dzielił swoje życie zawodowe między naukę i politykę. Kiedy w 1970 r. wstępował do CDU w świecie akademii nie pozostało mu już wiele do zdobycia. Od pięciu lat był już profesorem zwyczajnym na Wolnym Uniwersytecie Berlińskim (został nim w wieku zaledwie 31 lat), a wieczną sławę i uznanie przedstawicieli doktryny zapewnił sobie współautorstwem „Komentarza do ustawy zasadniczej”. Do dziś pozostaje on jedną z najważniejszych i najczęściej cytowanych interpretacji niemieckiej konstytucji.
Talent polityczny Herzoga jako pierwszy docenił ówczesny premier Nadrenii-Palatynatu Helmut Kohl, powołując go w 1973 r. do swojego rządu. Dwa lata później profesor przeniósł się do sąsiedniej Badenii-Wirtembergii, gdzie pełnił kolejno funkcje ministra kultury i sportu, członka parlamentu związkowego oraz ministra spraw wewnętrznych.
Trwające ponad dekadę rozstanie z polityką przyszło na początku długich rządów kanclerskich Kohla. Z poparciem chadeków i liberałów Herzog w 1983 r. został wybrany na wiceprezesa jednej z dwóch izb Federalnego Trybunału Konstytucyjnego, a cztery lata później objął funkcję prezesa FTK. Zrezygnował z niej rok przed końcem sędziowskiej kadencji, gdy zgodził się kandydować na urząd prezydenta.
Zasiadał w składzie orzekającym w wielu ważnych, a do tego delikatnych społecznie i politycznie sprawach, zwłaszcza w okresie zjednoczenia Niemiec. To przede wszystkim trybunał w Karlsruhe odpowiadał wówczas za rozciągnięcie konstytucyjnej ochrony na obywateli upadłego reżimu, a także pełnił rolę arbitra w sporach, w których ich interesy kolidowały z interesami mieszkańców RFN. Jedną z takich spraw był wyrok w sprawie funkcjonariuszy publicznych ze wschodnich Niemiec masowo pozbawionych pracy po unifikacji. Trybunał orzekł wówczas, że likwidację enerdowskich urzędów, przewidzianą w układzie zjednoczeniowym, można uzasadnić koniecznością zapewnienia efektywnej administracji i zdrowych finansów publicznych. Nie zwalniało to jednak rządu federalnego z podejmowania wysiłków na rzecz zawodowej reintegracji byłych urzędników z NRD, zwłaszcza jeśli były to osoby starsze czy samotne matki.
Równie pragmatyczne podejście zademonstrował trybunał pod przewodnictwem Herzoga w sprawie zwrotu ziem skonfiskowanych przez radzieckich okupantów w ramach brutalnej kolektywizacji. Sąd konstytucyjny uznał jednogłośnie, wbrew emocjonalnym protestom dawnych właścicieli i ich spadkobierców, że wywłaszczenie dokonane przed 1949 r. jest nieodwracalne i zgodne z ówczesnym prawem, a jego ofiary mogą jedynie ubiegać się o odszkodowanie (jego kwota miała być oszacowana w kontekście ogromu roszczeń finansowych wysuniętych wobec zjednoczonych Niemiec). Jako prezes sądu konstytucyjnego Herzog bardzo dbał o to, aby jego rozstrzygnięcia zapadały jak największą liczbą głosów bądź jednogłośnie, wierząc, że cementuje to społeczny autorytet tej instytucji. Sam zresztą podczas swojej pracy w trybunale nigdy nie zgłosił zdania odrębnego.
Mimo że przyszedł do FTK prosto z rządowego gabinetu, nawet swoim krytykom nie dał powodów do zarzutów o stronniczość. Najlepiej świadczy o tym fakt, że o ile jako minister spraw wewnętrznych dał się poznać jako zwolennik ostrej rozprawy z protestami przeciwko energii atomowej, które pod koniec lat 80. przetoczyły się przez cały Zachód, o tyle już jako sędzia konstytucyjny walnie przyczynił się do umocnienia prawa do zgromadzeń spontanicznych. Stało się to za sprawą przełomowego wyroku z 1985 r. dotyczącego zakazu demonstracji przeciwko budowie elektrowni atomowej w Brokdorf. Trybunał orzekł wtedy, że niedopełnienie obowiązku zawiadomienia lokalnych władz o zamiarze przeprowadzenia manifestacji nie może być podstawą do całkowitej delegalizacji spontanicznego zgromadzenia i wytoczenia jego uczestnikom spraw karnych, choćby jakaś część z nich zachowywała się agresywnie. Władze dysponują bowiem mniej restrykcyjnymi środkami zapewnienia porządku publicznego.
Mimo że przyszedł do Federalnego Trybunału Konstytucyjnego prosto z rządowego gabinetu, nawet swoim krytykom nie dał powodów do zarzutów o stronniczość