Die ersten beiden Höhlenwohnungen entstanden nach der Aufgabe der Altenburg. Zwei im Bereich der Burg bestehende Höhlen wurden zu Wohnungen ausgebaut. Eine erste Wohnung bestand hier seit 1787. In der Zeit von 1855 bis 1858 wurden dann zehn Wohnungen in den Sandsteinfelsen am Schäferberg gehauen. In Langenstein bestand eine erhebliche Wohnungsnot. Mehrere junge Familien aus Langenstein und aus dem Raum Goslar stammende Arbeiter des Gutes benötigten dringend Wohnraum. Eine Bitte des Dorfschulzen Hinze an den Landrat Gustav von Gustedt, die Gemeinde bei der Schaffung von Wohnraum zu unterstützen, wurde abgelehnt. Der Gemeinderat entschied darauf hin, dass die Möglichkeit zur Schaffung von Höhlenwohnungen gegeben werden soll. Den Bauwilligen wurden die Felswände für jeweils acht Groschen verkauft.
Die Arbeiten wurden durch die Wohnungssuchenden mit Hammer, Spitzhacke und Meißel ausgeführt und dauerten zwischen zwei und fünf Monaten. Die kleinen, etwa 30 m² großen Wohnungen hatten ähnliche Zuschnitte und verfügten jeweils über Wohnzimmer, Schlafzimmer, Kinderzimmer und einen Vorratsraum. Durch den Felsen nach oben führen Schornsteine, unter denen sich ursprünglich gemauerte Herde befanden. Einzige benötigte Baumaterialien waren jeweils eine Tür und ein Fenster. Die Trennwände zwischen den Räumen wurde von stehen gebliebenem Fels gebildet. Natürliches Licht hatten nur die vorderen Räume. Spalte über den Türen und die Schornsteine sollten eine Luftzirkulation ermöglichen, die das Entstehen von Schimmel und Feuchtigkeit an den Wänden verhindern sollte.
Oberhalb der Höhlen lagen Weideflächen. Durch die Beweidung mit Schafen und Ziegen, sollte eine Verbuschung und Baumbewuchs unterbunden werden. Es gab den Spottvers: In Langenstein, in Langenstein, da schieten de Schaape in Schornstien rein!
Eine der Wohnungen wird als Schmidthöhle bezeichnet. Links des Eingangs befindet sich eine Gedenktafel mit den Lebensdaten der Eheleute Karoline (1825–1909) und Ludwig Schmidt (1829–1910), die hier lebten. Ludwig Schmidt war als Drehorgel-Spieler tätig.
Die Nutzung der Höhlenwohnungen zu Wohnzwecken wurde im Wesentlichen zwischen 1900 und 1910 aufgegeben. Zum Teil wurde die Nutzung als Wohnung bereits vorher beendet und kleine Häuser vor die Höhlen gesetzt, die dann noch als Stall oder Vorratsraum dienten. Die letzte Wohnung wurde 1916 aufgegeben. Noch bis in die Zeit um 1990 dauerten die Nutzungen als Tierställe oder Vorratskeller an.