Vista delle rovine della cappella a Chapel Ness

Earlsferry, il più antico dei due villaggi, si insediò per la prima volta in tempi immemorabili. Si dice che MacDuff, il conte di Fife, attraversò il Forth qui nel 1054 mentre fuggiva dal re Macbeth. In particolare la leggenda narra della sua fuga aiutata da pescatori locali, un atto che potrebbe aver portato direttamente il villaggio a essere promosso allo status di borgo reale a causa della successiva influenza di MacDuff su Malcolm III.

Entro la metà del XII secolo, i Conti di Fife avevano istituito un traghetto per l'uso dei pellegrini diretti al santuario di Sant'Andrea Apostolo a St Andrews. Il traghetto ha attraversato il Firth of Forth a North Berwick, una distanza di 7 miglia, ed è questo traghetto che ha portato alla denominazione del luogo. Ci sono i resti di una piccola cappella sulla Cappella Ness, costruita per l'uso di questi pellegrini.