Nel porto di Porto Azzurro ci sono molte barche da pesca, yacht a vela e a motore. Proprio dietro il lungomare si trova la spaziosa Piazza Matteotti con i suoi numerosi caffè, bar e boutique. La vita qui pulsa.
Porto Azzurro è uno dei porti più belli dell'Isola d'Elba. Lo rivela già il suo nome: Porto Azzurro significa Porto Azzurro. Tuttavia il luogo porta questo nome solo dal 1947.
Fino al 1947 l'attuale Porto Azzurro mantenne l'antico nome Portolongone, dato al paese quando fu fondato nel 1603 da Filippo III di Spagna, che volle trasformare il paese in una sorta di fortezza a difesa del territorio.
Oggi Porto Azzurro si presenta come un caratteristico borgo di pescatori circondato da spiagge dorate e un mare dal colore blu intenso. La caratteristica principale di questo luogo, che tante suggestioni offre ai suoi visitatori, è il fatto che all'ospite vengono offerte numerose attività interessanti, non solo attraverso la natura ricca e bella, ma anche attraverso un'offerta artistica e culturale preziosa e diversificata.
Passeggiando per le strette vie del centro storico si viene automaticamente attratti da alcuni grandi edifici che testimoniano il passato della città. Uno degli edifici più importanti del paese è la rocca di San Giacomo, un'enorme fortezza la cui costruzione fu voluta da Filippo III nel 1602. L'edificio era destinato a completare la rete difensiva del territorio secondo gli studi di Don Garcia di Toledo, su un modello già esistente nella città di Anversa, per proteggere la città e l'isola dai continui attacchi dei pirati saraceni; La fortezza ebbe un'importante funzione di screening e protezione fino agli inizi dell'Ottocento, perse solo quando fu trasformata in carcere. Così come la fortezza affascina per le sue dimensioni, gli edifici religiosi affascinano per la loro grazia; Tra le chiese più interessanti di Porto Azzurro ci sono la Chiesa della Madonna del Carmine e la Chiesa di San Giacomo Maggiore, senza dimenticare ovviamente il Santuario della Madonna di Monserrato, costruito nel 1606 dal governatore spagnolo Pons Y Leòn in ricordo di un famoso cappella nel fu costruita vicino a Barcellona.