Als Schlossgarten wird im Gegensatz zum Schlosspark die engere Umgebung des Schlossgebäudes bezeichnet und befindet sich bis heute ausschließlich in privater Nutzung der herzoglichen Familie.

Hier befindet sich der alte Kern der gesamten Rasteder Parklandschaft, denn an Ort und Stelle lagen Kreuzgang und Garten des alten Klosters, aus dem die zwei sog. „Lustgärten“ hervorgingen, die Graf Anton Günther im 17. Jhd. hatte anlegen lassen, wie auch der Barockgarten des Herrn von Römer im 18. Jhd.

Nach dem Erwerb des Hauses durch die neue Oldenburger Herzogsfamilie wurde der Garten im Sinne des englischen Landschaftsgartens umgestaltet und damit zur Keimzelle der sich im Laufe der folgenden Jahrzehnte entfaltenden Parklandschaft.

Vor allem in der 2. Hälfte des 19. Jhds. wurden zahlreiche Azaleen und Rhododendren gepflanzt. Bis heute ziert eine etwa 280m lange Rhododendronhecke die Ostseite des Schlossgartens.

Der klassizistische Venustempel, dessen Kuppe man über das Blattwerk hinweg ausmachen kann, wurde in den 1790er Jahren von Herzog Peter Friedrich Ludwig als Gartenhaus und Teepavillon erbaut. Auf der einen Seite konnte der Blick von der St.-Ulrichs-Kirche über die Ellerniederung und später den Ellernteich bis zur Wassermühle hin schweifen, auf der anderen Seite grenzte das herzogliche Tiergehege an, so dass von hier aus das Wild zu beobachten war.

1854 wurde im Pavillon eine vom Bildhauer Eduard Mayer in Rom gefertigte lebensgroße Marmorstatue der Göttin Venus aufgestellt. Seitdem wurde der Pavillon „Venustempel“ genannt.

Die Statue hat wie so Vieles andere die Unbilden der Zeit nicht ganz unbeschadet überstanden, in den unsicheren Tagen des Jahres 1945 wurde sie leider erheblich beschädigt.

In der Nähe des „Tempels“ finden sich auch einzelne bauliche Relikte der alten Klosterkirche, die bis 1957 ihren Ort beim Sängerplatz nicht weit vom Hirschtor hatten. In Erinnerung daran steht dort heute die Replik einer mittelalterlichen Klostersäule.