Nel cuore dell'antico feudo dei conti Guidi, poi dei Vescovi di Firenze, ai piedi del Monte di Croce, sorge questo imponente maniero, un tempo avamposto del potere feudale nel contado di queste terre. Le sue origini risalgono al XII° secolo, fu proprietà della famiglia dei Saltarelli, signori e notai locali poi emigrati a Firenze, che ampliarono le strutture originarie di quello che oggi è il nucleo centrale, turrito e merlato.
Nel XV° secolo l'interno venne abbellito da porticati e loggiati secondo lo stile ed il gusto rinascimentale mentre esternamente il perimetro murato fu a sua volta circondato da massiccie opere bastionate in pietra. Tutto questo si deve quasi sicuramenete ai nuovi proprietari dell'epoca, i Pazzi, le cui insegne - due delfini che si affrontano - ancora oggi marchiano il castello. La vicina cappella, di origine medievale, è dedicata a S.Maria Maddalena de' Pazzi che qui soggiorno nel XVI° secolo. La leggenda vuole che dopo il fallimento della congiura del 1478 ordita dalla famiglia contro i Medici, la famosa congiura de' Pazzi che costò la vita a Giuliano fratello di Lorenzo, Torre a Decima divenne il loro rifugio.
Restaurato completamente nel dopoguerra adesso il complesso soffre di abbandono e si sta progressivamente degradando.