Za czasów biskupa Józefa Hohenzollerna (1808-1836) zainicjowano rozmowy z władzami pruskimi na temat zagwarantowania mu odpowiedniej siedziby na obszarze diecezji warmińskiej. Zadecydowały one, że nowy pałac biskupi zostanie wybudowany we Fromborku. Przynajmniej dwa projekty architektoniczne przygotował August Bertram, jednak jego ostateczną wersję opracował Friedrich August Stüler, który był członkiem Naczelnej Deputacji Budowlanej. 15 października 1844 r. poświęcono kamień węgielny pod budowę kaplicy pałacowej. W październiku 1846 r. nowy pałac biskupi był już zadaszony. Prace budowlane zwieńczono pod koniec 1849 r. Biskup warmiński Józef Ambroży Geritz zamieszkał w nim prawdopodobnie wiosną 1850 r.