Dalla Serra si raggiunge il Castello roccaforte costruita nell'VIII sec. Esso è detto di S.Adiutore perchè su questo colle si vuole vi fosse la cella in cui si ritirò il Vescovo Santo, nel V sec, anche se alcuni storici sostengono che esso venne costruito in epoca antecedente per la sua funzione di fortificazione delle strade che attraversavano la vallata e a protezione delle genti .
La data della costruzione del Castello è incerta: alcuni studiosi la datano intorno al 787; altri invece intorno al IX -X sec. Infatti alcuni riferimenti storici affermano che esso fu voluto dai longobardi e precisamente da Arechi II, principe di Benevento, che lo fece edificare nel 773 per fortificare il suo Ducato contro un attacco eventuale da parte di Carlo Magno, che aveva giurato di eliminare i longobardi dall'Italia e pertanto Arechi stabilì di trasferirsi a Salerno costruendo, oltre il Castello sopra Salerno, altri quattro castelli come avamposti contro attacchi dall'entroterra. Essendo molto religioso intitolò i castelli a Santi ( S.Severino quello ad Oriente, S. Giorgio quello piu' a sinistra, S.Adiutore a Cava e a Nocera che fu denominato apud montem ). Altri riferimenti vogliono che il Castello fosse costruito piu' tardi ,nel IX secolo a difesa dei Saraceni, che erano sbarcati a Cetara e sulle coste opposte del Golfo di Salerno. E' certo comunque che il castello fu donato dal duca Ruggiero al figlio Roberto, figlio del normanno Algerico, verso al fine del XI sec.
Nel 1110 fu acquistato dal Monastero della S.S. Trinità per 1.010 schifati: era abitata da un monaco e da un laico che comandava le guarnigioni che vivevano sul castello.Il monastero poi perse il possesso del castello di S.Adiutore nel 1291 quando fu distrutto da Roberto conte di Arras, vicario di re Carlo II d'Angiò. Ricostruito nel 1380 ( per questo venne imposta ai cavesi una gabella ), il castello divenne una postazione militare sino al 1943, quando fu occupato dai tedeschi i quali per la posizione, vi piazzarono batterie di cannoni che tennero sotto tiro per circa 20 giorni la strada tra Vietri e Cava, ritardando l'avanzata delle truppe alleate sbarcati a Salerno. quando iniziò la decadenza della struttura, a seguito dei bombardamenti tedeschi durante il II conflitto mondiale. Nel 1970 l'Amministrazione comunale restaurò il sito e a ricordo di ciò fu posta una lapide.
La fortezza fu danneggiata nel settembre 1943 e fu restaurata completamente nel 1970.
Non mancano le leggende: da qualche parte dovrebbe esistere un passaggio sotterraneo e segreto tra il Castello di Cava e quello di Salerno; nella cisterna del Castello è morta una vecchia strega che riappare ogni tanto; nel Castello o lungo i fianchi dovrebbe essere nascosto un tesoro.