L'Astura romana era un approdo alla foce del fiume Astura e sede di ville romane già dal I secolo a.C. Una tra queste fu di Cicerone, e Astura fu teatro delle ultime fasi della sua inutile fuga da Marco Antonio. Nel sito venne realizzata, tra la fine della Repubblica e l'inizio dell'età imperiale, una villa strutturata in parte in terraferma e in parte su un'isola artificiale, dotata di una vasta peschiera, i cui resti sono ancora in parte visibili. A partire dall'età romana Astura rappresentava infatti il prolungamento e il confine ad oriente della colonia di Antium (Anzio) e per la sua amenità fu un luogo molto amato dai nobili romani che la scelsero per costruirvi le loro villae d’otium.
Pervenuta intorno al 1140 a Tolomeo dei Conti di Tuscolo per averla usurpata al monastero di Sant'Alessio all'Aventino, nel 1193 il sito venne in possesso dei Frangipane, che per proteggersi dai Saraceni vi costruirono una fortezza marittima con una torre a pianta pentagonale, circondata dalle acque e collegata alla terraferma da un ponte ad arcate in laterizio.
Nel 1268 Corradino di Svevia, sconfitto nei pressi di Tagliacozzo, si rifugiò ad Astura nell'omonima torre, ma Giovanni Frangipane, signore di questa terra, lo consegnò a Carlo d'Angiò re di Napoli, cosicché fu decapitato a Campo Moricino, l'attuale piazza del Mercato di Napoli.
Nel 1426, dopo essere stata feudo dei Caetani e degli Orsini, la fortezza passò sotto i Colonna i quali la ristrutturarono, dandole l'attuale aspetto, e la vendettero nel 1594 a Clemente VIII Aldobrandini. Da questi, estintasi la famiglia Aldobrandini, passò ai Borghese, dai quali fu ceduta al comune di Nettuno negli anni settanta del XX secolo.