Im 12.-14. Jahrhundert wurde hier die mittelalterlichen Johannisburg ausgebaut (basierend auf Vorbauten aus dem 10. Jahrhundert), Ende des 13. Jahrhunderts ergänzt um eine Johannes dem Täufer gewidmete Kapelle.
Bereits zu dieser Zeit war die Burg zweiter Regierungssitz der mächtigen Mainzer Erzbischöfe, Führer der der größten Kirchenprovinz des Heiligen Römischen Reiches und Erzkanzler des Reiches. Im 13. bis 15. Jahrhundert war Aschaffenburg Ort verschiedener Fürstenversammlungen und Bischofssynoden mit herausragenden Besuchern wie Kaiser Ludwig der Bayer oder König Wenzel von Luxemburg.
1552 wurde die Anlage während des Markgräflerkrieges geplündert und zerstört. Viele vorhandene Kunstschätze gingen dabei verloren oder wurden zerstört. Erhalten blieben viele Werke von Lucas Cranach dem Älteren, heute als Teil der Staatsgalerie Aschaffenburg im Schloss zu besichtigen.
1604 wurde der Bau des Schlosses von Kurfürst Johann Schweikhard von Kronberg beauftragt. Die Reste der alten Burg wurden – bis auf den Bergfried – abgerissen. In der Mittelachse des Schlosses ist eine Nachbildung des Wappens des Kurfürsten zu sehen – das Original wurde im 2. Weltkrieg zerstört.
Das Schloss ist streng symmetrisch aufgebaut und hat Außenmaße von 87,5 m x 86 m, die Fassade besteht aus rotem Sandstein. Die Ecktürme sind 52 Meter hoch, was der Breite der einzelnen Flügel entspricht. Bemerkenswert sind die dreigeschossigen Zwerchgiebel in den Mittelachsen der Zwischenbauten mit einer kunstvollen Ornamentik im Stile der italienischen Renaissancearchitektur. Umgeben ist das Schloss von einem trockenen Schlossgraben, der Zugang erfolgt über eine Brücke im Südosten.
Ab 1614 führte Johannes Schweikhard von Kronberg die Regierungsgeschäfte vom neuen Schloss aus. Zur Einweihung liess er Münzen prägen, die das Schloss sowie sein Wappen zeigen. 1618/1619 wurden dann die letzten Arbeiten fertiggestellt. Die Wohnung des Kurfürsten lag im ersten Obergeschoss im Mainflügel und im Südostflügels war die Silberkammer untergebracht. Hier werden u.a. Originalmöbeln des Erzbischofs Friedrich Karl Joseph von Erthal aus der Zeit um 1800 gezeigt. Als Residenz für den Kaiser lag im zweiten Obergeschoss das „Kaiserappartement“ inklusive des sehr repräsentativen Kaisersaals.