Sul sito esisteva in precedenza un castello medievale risalente al XIII secolo. Nel 1536 giaceva in rovina. Nel 1563 il sito era stato venduto a un dottor John Gibbon. Una nuova casa fu costruita sul sito da Gibbon o da Nicholas Herbert, che acquistò il sito da Gibbon nel 1586. Rimangono parte delle fortificazioni di confine medievali a forma di D, che formano un muro attorno all'attuale casa.
Sir Edward Lewis di The Van, Caerphilly, acquistò la casa nel 1616 e gli interni risalgono in parte a quel periodo e in parte a dopo il 1850, quando divenne la residenza estiva della famiglia Windsor-Clive. La proprietà faceva parte della tenuta dei Conti di Plymouth e, nel 1833, fu ereditata da Lady Harriet Clive che procedette al restauro dell'edificio. La sequenza di terrazze nei giardini fu creata per i Windsor-Clives nel 1865–6 e ampliata all'inizio del XX secolo. La casa divenne un ospedale di convalescenza per i soldati durante la prima guerra mondiale, con la sala dei banchetti contenente un reparto di 40 posti letto.
Nel 1947 i Windsor-Clive cedettero la casa e il terreno all'Amgueddfa Cymru - National Museum Wales e il terreno divenne successivamente la sede del Welsh Folk Museum, ora Museo Nazionale di Storia di St Fagans.
Il castello di St Fagans è diventato un edificio di interesse storico culturale di I grado nel 1977. La cisterna d'acqua di piombo nel cortile del castello è classificata di II grado *, mentre una serie di elementi nei giardini sono classificati di II grado.