Im Jahr 1837 kaufte die "Badische Gesellschaft für Zuckerfabrikation" die rund 13 Hektar große Schlossanlage vom badischen Staat und errichtete hier die bis 1995 bestehende Zuckerfabrik Waghäusel. Die ersten Produktionsgebäude für die Zuckerherstellung entstanden im ehemaligen Ökonomiehof. Im Lauf der Jahre mussten alle barocken Wirtschaftsgebäude neuen Industriebauten weichen. Die Grundlinien der barocken Anlage und einige Reste der Wegeachsen konnten sich aber überraschend deutlich in der Struktur der Fabrikanlage halten. Zwischen den Fabrikanlagen blieben einzig der Eremitage-Hauptbau, der von der Fabrikverwaltung genutzt wurde, und die Kavalierhäuser, die als Werkswohnungen dienten, erhalten.

Im südwestlichen "Fremdenbau" wohnten zeitweise die Fabrikdirektoren. Er wurde in den 1870er Jahren nochmals verlängert und erhielt eine Veranda in zierlicher Wintergartenarchitektur in Form der Gründerzeit. Das nordwestliche Kavalierhaus wurde 1968 abgerissen, um einem Melassetank Platz zu machen. Die übrigen drei Kavalierhäuser entgingen dem schon geplanten Abriss und wurden von 1988 bis 1992 mit Mitteln der Südzucker AG, der Stadt Waghäusel, der Denkmalstiftung Baden-Württemberg und des Landesdenkmalamtes renoviert.

Der Hauptbau der Eremitage blieb lange im Wesentlichen unverändert. Im Jahr 1860 richtete die Direktion der Zuckerfabrik für die protestantischen Beschäftigten, eine Minderheit in der überwiegend katholischen Gegend, einen Betsaal im Erdgeschoss mit eigenem Zugang und später auch eigener Kirchenglocke ein. Er wurde bis zur Fertigstellung der Waghäuseler Friedenskirche 1967 genutzt. Erst im Rahmen eines großen Umbaus in den 1920er Jahren wurde die barocke Freitreppe mit der eisernen Baldachin-Architektur entfernt, der Keller unter dem Eingangsbereich zugeschüttet und der heutige neuklassizistische Eingang geschaffen. Im Inneren wurde die ursprüngliche Raumaufteilung verändert und Zwischendecken entfernt, so dass in der Gebäudemitte ein dreigeschossiger Kuppelsaal entstand, in dem man vom ersten Stock aus bis zu Marchinis Deckengemälde sehen konnte. 1946 zerstörte ein Brand leider das komplette Deckenfresko und die historische Dachkonstruktion.