Das Schloss in Rastede ist die Sommerresidenz der Großherzöge von Oldenburg gewesen. Es steht auf uralten Grundmauern, denn dort, wo sich heute das Schlossgebäude erstreckt, befand sich einst das Abtshaus des bedeutenden Rasteder Benediktinerklosters von 1091. Dieses Kloster war lange Jahrhunderte das kulturelle Zentrum der alten Grafschaft Oldenburg gewesen. Einige kostbare Überreste dieser Zeit geben beredetes Zeugnis über die Bedeutung des alten Klosters ab, so z. B. die berühmte Bilderhandschrift des Sachsenspiegels, die hier an Ort und Stelle entstanden ist, oder die Rasteder Klosterchronik, die den Beginn der oldenburgischen Geschichtsschreibung ausmacht.

Als 1529 unter Graf Anton die Reformation in Oldenburg Einzug hielt, wurden die Mönche abgefunden und die Klostergüter vom Grafenhaus eingezogen. Seitdem wohnten die Grafen von Oldenburg hier auch zeitweise.

Der berühmte Graf Anton Günther, der es im 30jährigen Krieg verstanden hatte, den Frieden für seine Grafschaft zu erhalten, residierte gern in Rastede und ließ sich über dem bis heute existenten Keller des ehemaligen Abtshauses ein „Lust- und Jagdhaus“ errichten. Hier, in seinem lieben Rastede, verstarb Anton Günther 1667 als letzter Graf von Oldenburg, hochbetrauert von seinen Untertanen.

Wegen der engen Verwandtschaft der Oldenburger mit dem dänischen Königshaus wurde die Grafschaft an die dänische Krone vererbt. Aber auch während der Dänenzeit diente das Haus als herrschaftliche Residenz, nämlich Prinzessin Eleonore von Holstein-Beck, die 1744 in der Krypta der St.-Ulrichs-Kirche bestattet wurde.

Da die Dänen aber insgesamt wenig Interesse an ihrer Oldenburger Exklave hatten, war es nicht verwunderlich, dass sie Mitte des 18.Jhds. die Residenz schließlich verkauften. Der neue Besitzer, Justizrat von Römer, ließ die noch stehenden Klostergebäude, darunter die alte Klosterkirche, leider abreißen, um sich einen repräsentativen Landsitz zu gestalten. Nach seinem Tod 1777 kaufte der spätere Großherzog Peter Friedrich Ludwig das alte Klostergut zurück und ließ das Haus durch Umbau weitgehend in seinen jetzigen Zustand versetzen. Hier erkennt man mühelos die Handschrift der klassizistischen Bauherrn wieder, die auch die Stadt Oldenburg in ihrem Erscheinungsbild geprägt haben.

Das Areal der ehemaligen Klosteranlage wurde nun im Sinne der herzoglichen Residenz ausgestaltet und abgerundet. So entstanden hier nach 1780 links des Hauptgebäudes der Marstall und rechts das Kavalierhaus, die Torhäuser und der Venustempel im Schlossgarten - und ein großzügig geschnittener Landschaftspark.

Bis zum Ende der Monarchie in Deutschland nach der Novemberrevolution von 1918 diente das Schloss den Großherzögen von Oldenburg als Sommerresidenz. Und noch bis heute ist es im Besitz der herzoglichen Familie.