W pierwszej połowie XIX wieku rządcy diecezji warmińskiej starali się przekonać władze państwowe do wydzielenia przynajmniej części zespołu zamkowego w Lidzbarku Warmińskim na nową rezydencję biskupią. Z uwagi na plany budowy nowego pałacu biskupiego we Fromborku, odstąpiono od tych zamierzeń. Zamek gotycki nie wydawał się odpowiedni pod wynajem mieszkań, czy też jako rezydencja przeznaczona na potrzeby jednej rodziny. Budynki zamkowe nie kwalifikowały się ani na więzienie, ani na seminarium nauczycielskie, czy też konwikt dla młodzieży. Nie udało się też adaptować pomieszczeń gotyckiego zamku na rzecz zakładu dla obłąkanych, czy też przenieść do niego siedzibę sądu. W 1839 r. rozebrano pałac na parchamie. Jeśli chodzi o oficynę, zachodnie skrzydło przedzamcza przeznaczono wówczas na magazyn soli. Poza jego wschodnim skrzydłem, najlepiej utrzymanym, zajmowanym przez sąd i diecezję warmińską, inne części zespołu pozostały niezagospodarowane aż do drugiej połowy XIX wieku.