Franz Christoph von Hutten, von 1743 bis 1770 Fürstbischof von Speyer, beauftragte seinen Architekten Balthasar Neumann im Jahr 1747 mit einer Erweiterung des Hauptbaus der Eremitage. Dieser baute vier neue "Flügel" oder "Ohren" an den Hauptbau an, so dass der heutige kreuzförmige Grundriss entstand. Die fürstbischöflichen Appartements und eine Hauskapelle waren im Erdgeschoss untergebracht. Die vier Kavalierhäuser wurden ebenfalls erweitert, und zwar um die hinteren Teile außerhalb der Ringmauer, erst dadurch erhielten sie ihren rechteckigen Grundriss. Unter Damian August von Limburg-Stirum, von 1770 bis 1797 Fürstbischof von Speyer, wurden 1783 im Eingangsbereich des Hauptbaus die Uhr und das Glockentürmchen sowie ein schmiedeeiserner Altan über der Freitreppe angebracht.