L'odierno agglomerato urbano fu abitato già nel Neolitico. La sua collocazione lungo la Via dell'Ambra fu fondamentale per lo sviluppo dell'insediamento in epoca preromana e successiva. Tuttavia, Pettau acquisì un'importanza relativa solo al tempo dell'Impero Romano. Nel 69 dC Vespasiano fu proclamato imperatore romano a Ptuj. Sotto l'imperatore Traiano l'insediamento ricevette i diritti di città e divenne un importante centro militare, commerciale e amministrativo come Colonia Ulpia Traiana Poetovio. Nella battaglia di Poetovio del luglio 388, l'imperatore rivale Magno Massimo subì una decisiva sconfitta contro Teodosio I. Circa 40.000 persone vivevano nell'area della città odierna fino a quando non fu saccheggiata dagli Unni. Dopo gli Avari, gli slavi si stabilirono nell'area. Sotto il principe slavo Pribina, Ptuj faceva parte del Principato pannonico. Dal IX secolo la zona di Pettau appartenne agli arcivescovi di Salisburgo, i cui ministeri più importanti in questa zona furono i Signori di Pettau. L'arcivescovo Konrad I (1106–1147) fece pace con gli ungheresi, che continuarono a invadere, e fece ricostruire un vecchio castello in rovina sulla montagna sopra la città per proteggere il confine imperiale. Trasferisce l'ufficio di burgravio ai Signori di Pettau, con i quali negli anni successivi sono sorte ripetute controversie. Nonostante i signori dominanti di Pettau, a Pettau si sviluppò una borghesia, che aveva raggiunto una notevole prosperità attraverso il commercio sulla strada dall'Ungheria a Venezia, che qui attraversava la Drava, e attraverso la navigazione sul fiume. La città di Pettau fu cinta da mura intorno alla metà del XIII secolo, ma l'atto costitutivo della città fu registrato per iscritto solo nel 1376 su espressa richiesta del vicedomino di Salisburgo a Leibnitz, che era responsabile dell'amministrazione dei possedimenti di Salisburgo nel centro e Bassa Stiria. La legge comunale di Pettau del 1376 con i suoi 195 articoli favoriva il commercio ed è uno dei monumenti legali più belli e chiusi delle Alpi sudorientali. Nel 1458 l'imperatore Federico III. in segno di gratitudine per un'altra concessione dell'arcivescovo di Salisburgo, concesse alla città di Pettau una serie di privilegi commerciali. Nel 1479 gli ungheresi, alleati di Salisburgo, occuparono il castello e la città di Pettau, che poté essere presa solo dal re Massimiliano I dopo la morte del re Mattia Corvino nel 1490. Nel 1511 Massimiliano diede in pegno Pettau all'arcivescovado di Salisburgo e fu solo nel 1555 che il re Ferdinando I riacquistò il dominio, la città e il castello di Pettau/Ptuj, dopodiché fu infine inglobato nel Ducato di Stiria e rimase fino alla fine del la monarchia asburgica nel 1918/1919. Durante questo periodo ci furono ripetuti conflitti con l'Impero Ottomano e anche i disastri naturali danneggiarono notevolmente Pettau/Ptuj.
Stradine strette si estendono sulla collina del castello. Vale sicuramente la pena salire qui, se non altro per la vista panoramica sui tetti di tegole rosse del centro storico fino alla Drava.