Den Grundstein zur Eremitage in Waghäusel legte am 26. September 1724 Damian Hugo Philipp von Schönborn, von 1719 bis 1743 Fürstbischof von Speyer. Bereits 1720 hatte er die Residenz von Speyer nach Bruchsal verlegt und dort mit dem Schlossbau begonnen. Damian Hugo überzog das Hochstift Speyer mit einem Alleesystem, das die neue Residenz Bruchsal mit herrschaftlichen Anlagen wie Schloss Kislau und der Eremitage verband und den Wald erschloss. Die Speyerer Fürstbischöfe suchten in ihrer Waghäuseler Eremitage in unmittelbarer Nähe zu Wallfahrtskirche und Kloster sowohl Ruhe für religiöse Übungen wie Entspannung durch die Jagd.

Michael Ludwig Rohrer aus Rastatt (1683-1732), u.a. Baumeister des Speyerer Fürstbischofs und der Markgräfin Sibylle Augusta von Baden-Baden, plante die erste Anlage der Waghäuseler Eremitage, die von 1724 bis 1729 erbaut wurde. Der Hauptbau lag im Zentrum eines von Mauern umgebenen Wegesterns mit acht "Eremitenpavillons" zwischen den Hauptwegen. Der ursprüngliche Hauptbau war sechzehneckig. Über das eigentliche Dachgeschoss des Hauptbaus ragte ein "Belvederesaal" mit Fensterkranz und sechzehn Kaminen an der Außenwand. Dort brachte der italienische Freskomaler Giovanni Francesco Marchini, der auch Malereien im Bruchsaler Schloss ausführte, um 1732 ein Deckenfresko an. Dargestellt war das Innere einer in römische Ruinen gebauten Eremitenhütte. Die Eremitage Waghäusel beeinflusste auch spätere Bauten wie Schloss Clemenswerth im Emsland und das Jagdschloss auf dem Carlsberg bei Weikersheim.

Wohl durch den Würzburger Barockbaumeister Balthasar Neumann (1687-1753) angeregt, der seit 1728 auch in Speyerer Diensten stand, ließ Fürstbischof Damian Hugo von Schönborn schon 1730 anstelle der kleinen und sehr einfachen Eremitenhäuschen vier zweistöckige Kavalierpavillons mit quadratischem Grundriss errichten, die mit einer Ringmauer verbunden waren. Der südöstliche Pavillon war für die Küche bestimmt ("Küchenbau"), der nordöstliche für die wachhabende "Garde zu Pferd und Fuß" ("Gardebau") und die beiden westlichen für die fürstlichen Gäste (südwestlich "Fremdenbau" und nordwestlich "Cavalierbau"). Im Westen der Anlage, in Richtung Oberhausen, schlossen sich der Ökonomiehof mit Zehntscheuer, Amtskellerei, Pferdeställen, Wachstube, Jäger-, Gärtner- und Zollhaus sowie zwei Weihern an.