Nel corso del XV e XVI secolo si assiste, lungo la costa dell’Adriatico, alla costruzione di una serie di torrette antisbarco: la “Torre sul Porto” è un esempio tipico di queste costruzioni (ancora presenti in Abruzzo, ma quasi del tutto scomparse nelle Marche). Con l’intensificarsi degli scambi commerciali via mare si rese infatti necessaria una diversa organizzazione del "porto di Ascoli", che necessitava di essere difeso dalle incursioni dei pirati e dei briganti e dal diffondersi delle epidemie. La “Torre sul Porto” fu costruita nella prima metà del XVI secolo: il 18 novembre 1543 il lombardo Mastro Battista Raffaele di Como comunica alla città di Ascoli la realizzazione del torrione in prossimità del porto fluviale; i lavori della torre ottagonale terminano nel 1547. Verso la metà del Seicento la peste si stava diffondendo a macchia d’olio e così, nel 1673, per cautelare il territorio ascolano dall’arrivo di merci straniere, a ridosso del torrione cinquecentesco fu costruita una nuova struttura rettangolare che in parte inglobava il torrione stesso. Tale nuova struttura era destinata ad ospitare una guardia armata permanente per la difesa del porto e per la sorveglianza sanitaria. La struttura attuale dell’edificio è caratterizzata da una pianta composita composta da un corpo centrale di grandi dimensioni a pianta rettangolare detto "casone", e da una struttura di minori dimensioni a pianta ottagonale inserita in parte all’interno della prima. Entrambe le strutture si presentano con una muratura in laterizio a vista costituita da ricorsi regolari interrotti solamente da una semplice cornice marcapiano (cordone), anch’essa realizzata con laterizi sagomati a “toro” e con l'uso di brevi elementi in pietra inseriti solo negli angoli dell’edificio più grande. Le antiche aperture, feritoie e porte nel tempo sono state in parte sostituite da finestre di più grandi dimensioni che si ripetono con un ritmo irregolare e asimmetrico sia sulla facciata principale che sui prospetti laterali, lasciando intravedere nella muratura le tamponature di aperture forse più antiche. All’interno dell'edificio vi sono gli angusti ambienti della torre cinquecentesca ove venivano relegati i malviventi, utilizzati poi come dimora dalle famiglie di mezzadri locali (l'edificio è noto localmente anche come "casa di Olivo", dal nome dell'ultimo abitante). Il sistema di copertura sia della torre cinquecentesca che del “casone” sono stati sostituiti, nel XIX secolo, da una struttura lignea sulla quale poggiano le tavelle in cotto e il manto in coppi. L'interno dell'edificio è attualmente inagibile e necessita di ingenti lavori di ristrutturazione. Ai lati del portale principale vi erano i locali destinati al ricovero del bestiame (lato sud), al deposito dei cereali e alla rimessa agricola e marittima (lato nord); questi locali, unitamente ad altri annessi costruiti nella seconda metà del XX secolo, sono stati rimossi nei lavori di restauro conservativo delle parti esterne degli anni 2011-2012, tranne la struttura sul lato sud (ex stalla). Qui è prevista la realizzazione di un'aula didattica di circa 30 posti per le attività di educazione ambientale e di un info-point, mentre il terrazzo soprastante diventerà un punto privilegiato di osservazione del paesaggio e dell'avifauna; purtroppo questi lavori sono bloccati da anni, e dunque la Torre sul Porto allo stato attuale si presenta chiusa e inagibile. Ad aumentare l’importanza di questo bene è la sua collocazione all’interno della “Riserva Naturale Regionale Sentina”. Situata a nord della foce del fiume Tronto, è una palude salmastra nella quale sono presenti solo pochissimi edifici rurali e che presenta una zona umida di grandissima importanza a livello biologico e avifaunistico. Attualmente è purtroppo minacciata da una grave erosione costiera, con il mare che è ormai arrivato a lambire la “Torre sul Porto”.