Das Torhaus ist das letzte echte bauliche Überbleibsel der jahrhundertelangen Herrschaft der Herzöge von Sachsen-Lauenburg über das Land Hadeln und damit über Otterndorf. 1641, also während des 30jährigen Krieges, wurde das wehrhafte Schloss Otterndorf mit diesem Torhaus verstärkt. Von hier aus führte eine Zugbrücke über den Schlossgraben, der einstige Durchgang ist in der Vermauerung zu beiden Seiten noch erkennbar.
An der Außenseite ist die Jahreszahl der Erbauung zu sehen, die Innenseite ziert eine Reihe von eisernen Buchstaben, die angeben, wer die Herren des Schlosses sind, nämlich A und C für August und Catharine, darauf folgen Titulatur und Angabe des Herrschaftsgebietes: Herzog von Sachsen, Engern und Westfalen.
Gegen Ende des 17. Jhds. starb das Geschlecht der Lauenburger Sachsenherzöge im Mannesstamm aus, woraus ein heftiger Erbschaftsstreit zwischen unterschiedlichen Parteien entbrannte, der letztlich sogar mit militärischen Mitteln geführt wurde. Obwohl die Töchter des letzten Herzogs durchaus erbberechtigt gewesen wären, konnten sie ihre Ansprüche nicht durchsetzen. Das Land Hadeln übernahm zunächst der Kaiser treuhänderisch, bevor er es im Jahr 1731 dem Haus Hannover überantwortete, das mittlerweile nicht nur die Kurfürstenwürde erworben hatte, sondern als neue europäische Supermacht auch noch den König von England stellte.
Das inzwischen baufällig gewordene Schloss der Lauenburger Herzöge wurde 1773 abgerissen und durch ein Amtshaus ersetzt, in dem heute das Amtsgericht untergebracht ist.
Nachdem das Torhaus zeitweise als Wohnung für den Kreisboten und den Justizwachtmeister gedient hatte, wurde es 1934 zum Heimatmuseum umfunktioniert.
Nach dem 2. Weltkrieg übernahm der damalige Kreis Hadeln die Patenschaft für den ehemals ostpreußischen Kreis Labiau. Auch als Hadeln später in den Landkreis Cuxhaven aufging, wurde diese Patenschaft weitergepflegt.
Im Zuge dessen stellte man das alte Torhaus zur Verfügung, das seit 1988 als Museum der heimatlos gewordenen ostpreußischen Geschichte und Kultur fungiert.