Am Ende des 13. Jahrhunderts wurde in Lippholthausen eine Burg der Brüder Budde als festes Haus an der Nordgrenze der Reichsgrafschaft Dortmund nahe der Lippe erwähnt. 1293 musste die Burg niedergerissen werden. 1330 wurde erneut eine Burg, die Buddenburg der Herren von Frydag, erwähnt.
Um 1845 wurde das Schloss im klassizistischen Stil von Baumeister Zangerl aus Bork für den Freiherrn August von Frydag (1802–1875) erbaut. Es bestand aus einem Haupthaus mit laternenbekrönter Kuppel und zwei vorgelagerten zweigeschossigen Pavillons, die als Torhäuser gebaut wurden.
Vom 14. Jahrhundert bis 1902 befand sich Schloss Buddenburg im Besitz der Familie von Frydag zu Buddenburg. Durch Erbgang geschah es, dass es an die Familie von Rüxleben kam.
1908 wurde das romantische Schloss traurige Kulisse eines Ehedramas. In der Nacht auf den 2. Mai 1908 wurde der damalige Besitzer des Anwesens von seiner Ehefrau erschossen. Anschließend schied auch sie aus dem Leben, indem sie Selbstmord beging..
1913 verkaufte die Familie von Rüxleben das Anwesen an die Stadt
Lünen, die einen Großteil des Besitzes erwarb. Während der Zeit der Nationalsozialisten im dritten Reich wurde das Schloss als Adolf-Hitler-Schule missbraucht.
Bis zu dem Zeitpunkt war es für die Brambaueraner jährlicher Brauch zum Heideblümchen-Laternen-Fest nach Alstedde zu wandern. Der Weg führte immer an Schloss Buddenburg vorbei. Besonders die Kinder hatten Spaß daran, wenn sie mit ihren Laternen nach Alstedde gingen.
Im dritten Reich wurde sowohl Erwachsenen als auch Kindern die Passage an der Buddenburg vorbei, um nach Alstedde zu gelangen, mit Waffengewalt verwehrt.
In den Nachkriegsjahren wurde Schloss Buddenburg verschiedentlich genutzt,
u. a. nutzte die Stadt Lünen das Schloss als Quartier für Wohnungslose.
Später verkaufte die Stadt das Anwesen an ein in Lippholthausen ansässiges Industrieunternehmen. Mit diesem Eigentümerwechsel ließ man Schloss Buddenburg schließlich sehenden Auges verkommen.
Das Mitte des 19. Jahrhunderts neu errichtete Schloss wurde 1977
abgebrochen.
In Erinnerung an das abgerissene Schloss wurden vor einigen Jahren auf
dem Grundriss der alten Gebäudemauern Ligusterhecken gepflanzt,
sodass der genaue Standort des Haupthauses wie auch der
Nebengebäude nachvollzogen werden kann.