Il castello ha un' antichissima e travagliata storia, lunga circa 1300 anni. Nel VI secolo i Longobardi, provenienti da Benevento, si stanziarono nella zona e meno di un secolo dopo fu edificato il castello, di cui oggi restano pochi ruderi malmessi. Come da prassi in epoca medioevale, intorno alla fortezza si sviluppò il primo nucleo abitato, quello che oggi è conosciuto con il nome di Borgo San Matteo.
Nei secoli successivi il castello ospitò più volte il re Manfredi di Svevia, che vi fu sepolto insieme a suo figlio dopo aver perso la vita durante la battaglia di Tagliacozzo. In seguito il castello passò in mano agli Angioini e la Contea di Sarno finì sotto il controllo del Regno di Napoli. Nel XV secolo, prima di passare agli Aragonesi, il castello fu occupato dalla famiglia Orsini, ai quali si deve l' edificazione della Torre dell' Orso, ancora oggi visibile. In questi anni il castello fu teatro della celebre congiura dei baroni e proprio la Torre dell' Orso risultò decisiva per le sorti della battaglia di Sarno.
La storia della fortezza di Sarno termina nel XVII secolo: nel 1647 fu distrutta durante le azioni repressive contro le rivolte innescate da Masaniello. Anche per questo oggi la fortezza è un insieme di ruderi quasi irriconoscibili, che sbucano sparsi qua e là nella vegetazione montana, laddove il corpo centrale del castello risulta maggiormente integro e ancora percorribile, pur con molta attenzione e fatica.