Mit dem Reichsdeputationshauptschluss 1803 wurde das Hochstift Speyer aufgelöst, dessen rechtsrheinischer Teil mit Waghäusel fiel an den badischen Staat. Der letzte Speyerer Fürstbischof Philipp Franz Nepomuk Wilderich von Walderdorf behielt bis zu seinem Tod im Jahr 1810 ein Wohnrecht in den Schlössern Bruchsal und Waghäusel. Die Eremitage, für die man danach zunächst keine Verwendung mehr fand, entging der Versteigerung für einen geplanten Abriss nur dank des Einsatzes des Geheimen Finanzrates Bürklin.