Die Grafen von Oldenburg hatten es schon lange auf die friesischen Lande abgesehen! Aber dieser Graf Gerd! Unberechenbar und herrisch ist er! Dazu ein gewaltiger Krieger! Angelegt hat er sich mit allen seinen Nachbarn, natürlich auch mit den Ostfriesen. Nicht weit von hier hat er erst vor kurzem eine neue Burg gebaut, die genauso heißt, nämlich Neuenburg. Und bei der Grundsteinlegung soll er ausgerufen haben: „Dat de Fresen de Bammel slae!“ - dass den Friesen angst und bange werde. Schon manch anderer Häuptling auf der Friesischen Wehde musste sich den Oldenburgern unterwerfen und ihnen Treue schwören. Aber nun ist die Zeit gekommen, da wir unsere Eigenständigkeit wohl endgültig werden aufgeben müssen. Gerd hat mir ein Angebot gemacht, dass ich nicht ausschlagen kann. Er will mir die Herrschaft abkaufen, und zwar in der Weise, dass ich ihm huldige und ihn als Erbe meiner Herrschaft einsetze. Ich wage nicht, den Zorn des Grafen Gerd zu wecken und abzulehnen. Daher werde ich, Hayo, wohl der letzte der friesischen Häuptlinge in Varel sein.

Die Oldenburger Grafen hatten bereits in ihrer Frühzeit Besitz in Rüstringen. Ihre erste Grablege soll im Kloster Jadeleh gelegen haben, das heute unter den Fluten des Jadebusens liegt. Während sich ab dem 12. Jhd. die Herrschaft der Grafen weiter südlich im Ammerland festigte und sie sich in Oldenburg niederließen, etablierte sich zur gleichen Zeit in ganz Friesland eine weitgehend gleichberechtigte Gemeinschaft der landbesitzenden Bauern. In dieser Zeit der Friesischen Freiheit gehörten auch die Rüstringer dem Landfriedensbund an, dessen Zentrum der sog. „Upstalsboom“ war, ein alter Grabhügel in der Nähe der Stadt Aurich, auf dem sich zu Pfingsten die Abgesandten der sieben friesischen Seelande trafen und Streitigkeiten unter den Bündnispartnern schlichteten. Im 14. Jhd. war diese Zeit jedoch vorbei. In Ostfriesland kämpften unterschiedliche Häuptlinge um die Macht und ein Gutteil Rüstringens war in den Fluten der Nordsee untergegangen. Varel war damit gewissermaßen eingekeilt zwischen den expandierenden Oldenburgern im Süden und den kriegerischen Häuptlingen und der See im Norden. Unter diesen Umständen war es nicht verwunderlich, dass die Häuptlinge in Varel immer wieder auf das Wohlwollen der Oldenburger Grafen angewiesen waren und sich unterwerfen mussten. Im Jahr 1465 huldigte Hayo dem Grafen Gerd von Oldenburg, den die Nachwelt gerne als „den Mutigen“ oder auch „den Streitbaren“ bezeichnete. Und 1481 ging mit dem Tod des Häuptlings die Herrschaft endgültig an die Oldenburger über. Aus der Häuptlingsburg in Nachbarschaft der Kirche wurde eine gräfliche Befestigung, die später zum Schloss umgebaut wurde.