Großherzog Paul Friedrich August von Oldenburg, der im Schloss zu Rastede seine Sommerresidenz unterhielt, ließ in diesem Waldstück im Jahre 1843 einen Wildpark anlegen. Als Wohnung für den Parkaufseher, der über das eingezäunte Areal wachte, wurde das „Forsthaus“ oder auch „Jägerhaus“ errichtet, an dessen Ostseite sich ebenfalls ein Salon für kleinere Hoffeste oder Jagdgesellschaften befand. Es steht hier am sog. Loyer Kirchweg, über den traditionell die Bauern aus der Dorfschaft Loy zur Kirche nach Rastede gegangen waren. Noch heute befindet sich das Gebäude im Besitz der Oldenburger Herzogsfamilie und wird seit vielen Jahren privat vermietet.
Dass die um 1850 im Wildpark lebenden Hirsche nicht immer ganz ungefährlich waren, beweist folgende Geschichte, die Förster Duhme, der damalige Parkaufseher erzählt:
„Das Jägerhaus enthielt neben den Wohnräumen für den Parkaufseher auch einen Salon zur Benutzung für die Herrschaft. Von einem großen Balkon aus schaute man auf einen Teich und eine allzeit gepflegte Rasenfläche, die an einem Eichenhain lag. Diese wurde bei den sechsmal im Jahr in und bei dem Jägerhause stattfindenden Hoffesten zu allerlei fröhlichen Spielen benutzt. Wenn wieder ein Fest stattfinden sollte, wurde am Tag vorher ein Teil der Küche aus dem Schloss in das Jägerhaus verlegt.
Nun kamen die zahmsten der Hirsche sehr häufig in den Garten des Forsthauses, um sich dort Futter zu holen. Ein solcher Geweihträger – und nicht gerade der ungefährlichste- fand sich nun auch ein, als man im Garten gerade unter roten Schirmen Kaffee trank. Hatte ihn die grellrote Farbe gereizt? Jedenfalls stürmte er mit einem Anlauf auf den Schirm los und zerfetzte ihn. Die Hofdamen flüchteten. Die Hofherren versuchten einzuspringen, aber auch vor ihnen zeigte der Hirsch keinerlei Respekt, er verletzte einen der Herren sogar an der Hand. Erst mit vieler Mühe gelang es, das Tier zu vertreiben. Wenig später hat man es dann aber geschossen, weil es mit der Zeit immer gefährlicher geworden war.“