Auf dem Gelände etwas abseits der Ortsmitte Otterndorfs gab es seit dem späten Mittelalter eine Befestigungsanlage, deren Lage noch heute an den Schlossgräben erkennbar ist. Um 1400 ging diese erste Burg in Flammen auf, da der Erzbischof von Bremen mit den Sachsenherzögen einmal mehr um die Herrschaft in Hadeln kämpfte. Da der Hansestadt Hamburg und ihren Kaufleuten aber sehr daran gelegen war, stabile Verhältnisse an den Küsten der Elbmündung herzustellen, griff sie ein, sobald sich die Gelegenheit dazu bot. Die Lauenburger Herzöge waren beständig knapp bei Kasse, daher verpfändeten sie kurzerhand das Land Hadeln an die Hamburger. Eine Win-Win-Situation: Hamburg hatte damit selbst die Hand auf dem für sie sensiblen Territorium, während die Lauenburger ihre schlimmsten Verlegenheiten zunächst einmal loswurden und gleichzeitig das Land Hadeln vor dem Zugriff des Bremer Erzbischofs bewahrt hatten.
Im Zuge dieses Arrangements wurde in Otterndorf auf dem Grund der zerstörten Burg ein wehrhaftes Schloss errichtet und 1408 sogar ein Hamburger Amtmann eingesetzt. Die Hadeler waren auf die Dauer mit der Herrschaft der Hamburger jedoch nicht sehr zufrieden, da sie ihnen den Weizenhandel mit Holland verdarben und begannen, ihre alten Freiheiten einzuschränken. Deshalb waren sie ausgesprochen froh, als die Lauenburger nach fast 100 Jahren das Pfand endlich auslösten, wieder selbst die Herrschaft antraten und den Hadelern ihre althergebrachten Privilegien erneut bestätigten.
Während des 30jährigen Krieges wurden die Festungsanlagen sogar noch einmal erweitert und verstärkt, doch durch die Veränderungen in der Militärtechnik während der folgenden Jahrzehnte wurden die vielen kleinen Befestigungen, die es überall in Deutschland gab, zunehmend bedeutungslos. Um aber das Otterndorfer Schloss im Sinne einer Residenz instand zu halten, hätte es eines Herrscherhauses bedurft, dass an Ort und Stelle auch hätte residieren wollen, und das war spätestens mit den Kurfürsten aus Hannover, die das Land Hadeln Anfang des 18. Jhds.erwarben, nicht mehr zu machen.
Das längst baufällig gewordene Schloss wurde schließlich im Jahre 1773 durch ein Amtshaus ersetzt, das heute noch zwischen welliger Rasenlandschaft und alten Bäumen an Ort und Stelle steht.
Die Staatsgewalt blieb der Örtlichkeit jedoch auch nach all den langen Jahrhunderten treu. Seit 1885 ist in hier das Amtsgericht Otterndorf untergebracht.