Das Land Hadeln hatte über lange Jahrhunderte nicht den schlechtesten Stand. Durch ihre Geschichte hatten die Hadeler eine ganze Reihe von Freiheiten, von denen andere Bauern im Mittelalter nur träumen konnten. Das hatte insbesondere damit zu tun, dass die Bewohner des Küstenstreifens einen Großteil des Landes erst hatten entwässern und gegen Sturmfluten sichern müssen, um es urbar zu machen. Die Leute, die das leisteten, kamen meistenteils aus Holland und konnten nur mit dem Versprechen hierhergelockt werden, dass ihnen gewisse Privilegien gewährt würden. Der Bremer Erzbischof, der die Urbarmachung der Küstengebiete in seinem Umland anstieß, konnte seine Meinung zu den Privilegien nach einigen Jahrzehnten aber auch wieder ändern, wie man an den Stedinger Bauern an der Unterweser sehen konnte, bei denen er seine Forderungen schließlich mit Gewalt durchsetzte. Die Bauern in Hadeln dagegen entgingen diesem Schicksal, da sie im 12. Jhd. unter die Herrschaft Heinrichs des Löwen fielen, und damit langfristig beim Herzogtum Sachsen verblieben. Die sächsischen Herzöge verzweigten sich jedoch in unterschiedliche Dynastien, die keineswegs allesamt gleich mächtig und bedeutend waren. Zudem lag das Land Hadeln immer ein klein wenig abseits von den großen politischen Mächten und Umwälzungen.
Auf dieser Grundlage regelte die Bauern hierzulande ihre Angelegenheiten weitgehend selbst. Und sobald ein Landesherr das Zeitliche segnete, ließen sie sich von dem nächsten erst einmal alle Rechte und Freiheiten bestätigen, bevor sie ihm den Treueid leisteten.
In Otterndorf gab es einen Magistrat aus zwei Bürgermeistern und vier Senatoren. Die tagten regelmäßig in unterschiedlichen Gastwirtschaften des Ortes. Doch dabei ging wohl das eine oder andere schief, denn auf die Wirte war nicht immer Verlass, dass sie nicht lauschten und dann das Erlauschte auch noch weitertratschten. Schließlich wurde die Sache so bunt, dass sie einen Wirt, der es besonders toll getrieben hatte, beim Herzog anschwärzten, der auf diese Weise auf die unhaltbaren Zustände aufmerksam wurde. Er verfügte daraufhin, man solle einen Keller anlegen und ein Haus darüber bauen, dass sich zum Rathaus eigne. Auf diese Weise bekam Otterndorf im Jahre 1583 ein Rathaus. Rund 100 Jahre später kam noch der Fachwerkanbau als Räumlichkeit für die Zwölfer hinzu, ein Gremium, das den Senat der Stadt beaufsichtigte.
Zu beiden Seiten und über der Eingangstür sind Wappensteine eingelassen, die ihre eigene Geschichte haben: Sie stammen vom Wester- bzw. Ostertor der Stadtbefestigung, die man Mitte des 19. Jhds. abriss, weil sie keinen Nutzen mehr hatten und sich durch ihre Enge zu Verkehrshindernissen entwickelt hatten. Das Wappen rechts ist das der sächsisch-lauenburgischen Landesherrn von 1580, die Wappen links und oben das Otterndorfer Stadtwappen mit dem sächsischen Balkenschild samt Rautenkranz auf der linken Seite und dem Fischotter auf der rechten als Versinnbildlichung „Ottern“-dorfs.