Der Burgberg wurde wahrscheinlich schon vor etwa 2.000 Jahren durch eine Wallburg befestigt. Zur Zeit der Karolinger um 850 n. Chr. befand sich hier ein befestigter Königshof.
Nachdem die Herrschaft Vlotho 1248 an den Grafen Heinrich von Oldenburg (Beiname der „Myldebogener“), einem Schwager des Grafen Heinrich von Tecklenburg, gefallen war, erbaute er um 1250 die Burg Vlotho als Amtssitz. Von hier aus wurde der Handel auf der Weser und den Straßen überwacht.
Obwohl Teil der Grafschaft Ravensberg, geriet sie zeitweise in Pfandbesitz des Grafen Otto V. von Everstein.[1]
Im Jahre 1368 zerstörten die Truppen der Stadt Minden die Burg und Stadt Vlotho. Anlass war eine Fehde mit der Grafschaft Lippe. Da man die Burg als Verwaltungssitz jedoch benötigte, wurde sie wieder aufgebaut. Zeitweise wurden von hier aus zwei Herrschaftsbereiche verwaltet.
In den Wirren des Dreißigjährigen Krieges und in den darauffolgenden Jahrzehnten wechselte die Burg mehrfach ihren Besitzer, wurde ausgeplündert und geriet in Verfall.
1709 wurde sie „auf Abbruch“ für 172 Taler verkauft. Das Prinzip: Jeder, der bezahlte, konnte sich eine von der Höhe der Zahlung abhängige Menge Steine als Baumaterial brechen. Auf diese Art wurde die Burg größtenteils abgetragen.
Im Jahre 1884 wurde auf dem Burggelände eine Gastwirtschaft errichtet. 1903 wurde im südöstlichen Außengelände der Vlothoer Bismarckturm erbaut. Er war als Wandelgarten gestaltet und mit künstlichen Grotten ausgestattet, aus denen heraus der Blick auf den Weserlauf im Osten mit der so genannten Lippische Pforte möglich war. 1922 wurde von der Freiwilligen Feuerwehr Vlotho an der östlichen Außenmauer ein Pavillon in Muschelform für Musikvorführungen errichtet.
Von 1936 bis zum Ausbruch des Zweiten Weltkriegs fanden umfangreiche Ausgrabungen statt. Teile der Anlage wurden gesichert und oberirdisch als Ruine wiederhergestellt, der Burgbrunnen auf eine Tiefe von 63 Meter freigelegt. Abgebrochen wurden der Bismarckturm und das mittlerweile eingerichtete Heimatmuseum. Auch andere Bauten, die sich nicht mit den Ansprüchen an eine möglichst ursprüngliche Gestaltung vertrugen, verschwanden.
Die Freiwillige Feuerwehr Vlotho errichtete 1949 erneut einen, massiven Pavillon. Es gab zunehmend Proteste der Bürgerschaft des Stadtteiles Uffeln am immer dichter besiedelten gegenüberliegenden Weserufer wegen der Lärmbelästigungen. Tatsächlich trug der Schall weit über die hundert Meter tiefer liegende Weser hinaus. Diese Musikmuschel wurde bei der Umgestaltung des Burggeländes 2001/2002 durch eine Zeltbühne ersetzt.