A área onde se ergue o castelo foi habitada pelo menos desde a época romana, devido à presença de tanques de salga nas suas proximidades. No século XV, foi construída uma torre de vigia.
Nos princípios do século XVII, sob o domínio Filipino, o governo iniciou um programa para a construção de várias fortalezas ao longo da costa, a defendê-la dos ataques dos piratas e corsários. planeada a instalação de uma fortaleza na foz do Rio Arade, embora inicialmente não se tenha chegado a acordo sobre em que lado da foz é que deveria ser construída. O engenheiro militar italiano Alexandre Massai argumentou a favor da margem esquerda, onde se poderia fazer uma melhor defesa de Vila Nova de Portimão, pelo que foi deste lado que foi construída a fortaleza.
Assim, foi só após a restauração da independência, em 1640, que se começou a planear a construção do castelo na margem direita, como forma de proteger o litoral contra ataques espanhóis. As obras decorreram entre 1643 e 1644, no local da antiga torre de vigia, conhecida como Castelo de Ferragudo, que já não era considerada eficaz do ponto de vista estratégico. Com efeito, servia não só para proteger mas também para controlar a foz do Arade, sendo ponto de registo aduaneiro para os navios que navegavam pelo rio até à cidade de Silves. Em 1654, o castelo foi alvo de um processo de reequipamento.
O edifício foi sendo progressivamente abandonado, estando já arruinado em 1669. No entanto, o castelo ainda foi alvo de obras de ampliação no século XVIII, tendo sido pouco atingido pelo Sismo de 1755, devido ao terreno em que se implanta, em rocha maciça.
Em 1821 ainda estavam a funcionar duas baterias na parte mais elevada do castelo, ambas com canhoneiras. Em 1861 estava novamente em ruínas, e em 1892 foi arrendada ao escritor e diplomata Joaquim José Coelho de Carvalho, cuja família comprou o edifício em 1896.
Joaquim de Carvalho fez obras nos princípios do século XX, que lhe deram uma aparência de castelo romântico. Algum tempo depois, passou a ser propriedade do político Francisco Vieira Machado.
O monumento não foi alvo de obras muito profundas no século XX. As alterações que foram feitas no seu interior serviram principalmente para a transformar numa residência de férias, embora grande parte do edifício tenha permanecido num estado de abandono. Em 1976, a Junta de Freguesia de Ferragudo pediu que lhe fosse cedido o forte, de forma a proceder à instalação de um centro cultural no seu interior.