12 июня 1852 года назначен чиновником за обер-прокурорский стол в
Сенат
.
С 23 ноября 1853 года исполнял должность обер-прокурора 1-го отделения 5-го департамента, в которой был утверждён 1 января 1861 года.
23 ноября 1861 года был назначен обер-прокурором 2-го отделения 3-го департамента.
С 26 ноября 1862 года состоял обер-прокурором 4-го департамента.
1 января 1865 года пожалован в
тайные советники
с назначением к присутствованию в Сенате во 2-й отдел 5-го департамента.
4 февраля 1866 года назначен старшим председателем Санкт-Петербургской судебной палаты, а 7 декабря назначен к присутствованию в общем собрании судебных и межевого департаментов.
4 июля 1864 года назначен членом Особого временного присутствия при Государственном совете для рассмотрения всеподданнейших жалоб, на определения департаментов Сената.
1 января 1885 года назначен членом Государственного Совета по департаменту гражданских и духовных дел и председателем Особого временного присутствия при Государственном совете. В последней должности оставался до 26 января 1894 года.
А. Ф. Кони
, начинавший свою службу под руководством Гольтгоера, писал о своей первой встрече с ним так:
Рыцарски благородный и изысканно вежливый, он принял меня не как подчиненного, а как младшего товарища по службе. В его словах звучало не только ободрение молодому человеку, вступающему в исполнение новых для него обязанностей, но и светлый, полный упований взгляд на будущее преобразованного суда как школы развития народного правосознания. Весеннее солнце, ярко освещавшее его кабинет на Надеждинской улице, полный ароматом гиацинтов, расставленных на окнах и во всех углах (он был любитель и знаток комнатного цветоводства), и сам Гольтгоер с милым приветливым лицом и мягкой откровенностью слова показались мне светлым символом предстоящей деятельности…