Un municipio di Magdeburgo fu menzionato per la prima volta nel 1244. Fu creato nel corso dei lavori di ampliamento dell'ex magazzino/negozio della corporazione dei pellicciai e doveva servire come segno dell'autogoverno dei cittadini della città. Di quell'edificio sopravvisse alle numerose distruzioni solo il Ratskeller, che ancora oggi è adibito a ristorante.
Nel 1293 quel municipio cadde vittima di un incendio, ma fu ricostruito nello stesso anno...
Nel 1540 il municipio fu rinnovato, insieme al Magdeburg Roland e al Magdeburg Rider che stavano di fronte ad esso. L'edificio fu inoltre ampliato e nella torre del municipio fu appesa una campana da 16 quintali.
Durante la distruzione di Magdeburgo nella Guerra dei Trent'anni, il municipio andò a fuoco. In questo incendio andarono distrutti anche gli archivi cittadini, tanto che oggi non ci sono quasi documenti dell'epoca precedente a quella data. La ricostruzione iniziò intorno alla metà del XVII secolo. Tuttavia, ci vollero anni prima che la città devastata si riprendesse dagli effetti della guerra e i lavori non furono completati fino al 1713. Nel 1820 la torre del municipio dovette essere demolita a causa di un degrado e ne fu costruita una nuova. Poco dopo, il municipio ricevette un nuovo orologio a pendolo e nel 1827 un parafulmine. Con il tempo il municipio divenne troppo piccolo per la crescente amministrazione, tanto che nel 1889 fu costruito un nuovo edificio dei servizi municipali ad est di quello che oggi è il vecchio municipio. Alla fine del XIX secolo il municipio fu allacciato alla rete elettrica cittadina. In quel periodo l'amministrazione raggiunse nuovamente i limiti di spazio, tanto che negli anni dal 1905 al 1907 fu costruito l'attuale Municipio Nuovo a nord del Municipio della Città Vecchia. Vi si trasferirono la Cassa di Risparmio Comunale, la Biblioteca Comunale e l'Archivio Comunale (che ancora oggi si trova qui).
Il 28 settembre 1944 e il 16 gennaio 1945 il vecchio municipio fu gravemente danneggiato dai raid aerei e il nuovo municipio fu bruciato. La ricostruzione dei due palazzi comunali iniziò solo nel 1950 e l'edificio dei servizi comunali fu demolito. Il municipio è stato in gran parte costruito nella sua forma storica (cioè senza le varie trasformazioni e integrazioni dei secoli scorsi). I lavori di costruzione non furono completati fino al 1979. Nel 1970 è stata installata la porta del municipio in bronzo dello scultore Heinrich Apel, che mostra scene della storia di Magdeburgo.