Die Grafen von Schaumburg waren einst mächtige Herren, doch nach Jahrhunderten der Herrschaft starb das Geschlecht der Schaumburger aus. Weshalb es schließlich so kommen musste, weiß eine Sage zu berichten:
Einst lebte auf der Burg ein junger Graf. Er hatte sich standesgemäß eine Ehefrau genommen, mit der zunächst das Glück in die Burg einzog. Doch die Zeiten verdunkelten sich. Tagelang blieb der junge Graf aus und nie mochte er verraten, wo er die ganze Zeit gewesen sei. Einzig von einem Jäger wurde er begleitet, der seinen Herrn jedoch nicht verriet. Eines Tages zeigte die verzweifelte Gräfin dem Jäger zwei Beutel, der eine war mit Samenkörnern gefüllt, der andere mit Gold. Sie sagte zu ihm: „Wenn du das nächste Mal unterwegs bist mit meinem Gatten sollst du immerfort die Samen verlieren, dann hast du das Gold in dem anderen Beutel gewonnen.“ Der Jäger ließ sich darauf ein und streute bei dem nächsten Ausflug seines Herrn die Samen aus.
Im nächsten Frühjahr war die Saat aufgegangen und die Gräfin konnte ihrer Spur folgen. So kam sie in das Gelände oberhalb der Burg, wo es im Fels eine tiefe Spalte mit einer Höhle gibt. Dort fand sie ihren Gemahl schlafend in den Armen der Tienke-Meume, der Wichtelfrau, die im Berg wohnte. Die Gräfin schnitt der Schläferin einen ihrer dicken geflochtenen Zöpfe ab und floh mit ihrer Beute. Als sie später dem Grafen den Zopf zeigte, war er erschüttert und bat seine Frau in tiefer Reue um Verzeihung. Nur wenig später hörte man in der Burg eine alles durchdringende Stimme, die die Rückgabe des Zopfes und die Rückkehr des Grafen forderte. Selbst als die Stimme drohte, das Geschlecht der Schaumburger würde zur Strafe für diesen Verrat einst verlöschen, ließ sich der Graf nicht erweichen und ging nie wieder zurück zu seiner einstigen Geliebten. Der Fluch aber ging in Erfüllung und im Jahr 1640 erlosch das alte Schaumburger Grafenhaus für immer.