L'edificio fu usato come luogo di villeggiatura e di caccia, ma è anche situato in posizione strategica in prossimità della via Regina, strada che da Milano porta a Como e quindi in Svizzera, facendo parte di una rete difensiva a nord di Milano[1].
Le più antiche attestazioni del castello risalgono al 1345, quando Luchino I Visconti ricostruì una cittadella distrutta[2] da precedenti conflitti tra Como e Milano. Una prima fortificazione sarebbe infatti presente già nel 1149 ma era stata abbattuta nel corso del secolo successivo[2] .
In seguito, il castello passò temporaneamente nelle mani dei Malabarba[2]. Tornato in possesso dei signori di Milano, il castello fu oggetto di un'opera di fortificazione da parte di Bernabò Visconti[2] il quale, nel 1380, lo cedette alla moglie Beatrice.
Divenuto proprietà di Caterina Visconti, il castello fu dotato di un fossato[2].
Dopo alcuni passaggi di proprietà che coinvolsero ancora i Malabarba[2], nel 1434[3] il castello e il resto di Carimate fu donato in feudo dal duca Filippo Maria Visconti a Giorgio Aicardi detto Scaramuzza[2], in ricompensa per aver scoperto una congiura di nobili milanesi dei Malatesta, Arcelli e Beccaria alla vita del duca stesso. In segno di riconoscenza, l'Aicardi acquisì il diritto ad aggiungere al suo il cognome dei Visconti[2].
Con il passaggio del potere dai Visconti agli Sforza, nel 1477, Galeazzo Maria Sforza riconfermò la proprietà come appartenente agli eredi di Giorgio Scaramuzza Visconti Aicardi. Nel 1481 il figlio di Giorgio, Lancelotto Visconti, ristrutturò nuovamente il Castello[2].
Il 3 dicembre 1493 nel castello prese alloggio il corteo nuziale di Bianca Maria Sforza, sorella del duca di Milano, e Massimiliano I d'Asburgo, imperatore del Sacro Romano Impero[4]. Il matrimonio venne celebrato per procura nel Duomo di Milano ed una comitiva accompagnò la sposa in Germania[4]. In tali circostanze, nel castello furono ospitati Bianca Maria Sforza, il duca di Milano Gian Galeazzo Maria Sforza, lo zio Ludovico il Moro con Beatrice d'Este ed altri membri della famiglia ducale[4]. Un'altra parte del corteo, formata da Guidantonio Arciboldi, arcivescovo di Milano, il giureconsulto Giasone del Maino, il diplomatico Erasmo Brasca, il pittore Ambrogio de Predis, l'artista, pittore e scienziato Leonardo da Vinci, ambasciatori e altri notabili furono invece ospitati a Meda, presso il monastero delle monache benedettine di San Vittore[4]. Solo nel 1496 l'Imperatore Massimiliano I alloggiò a Carimate. Tanto gli piacque il luogo, che vi soggiornò per ben sette giorni, riposando e cacciando cervi nei boschi circostanti.[4] Qualche anno più tardi, il castello divenne l'ultimo rifugio di Ludovico il Moro prima della fuga in Germania[4].
Nel 1626, con la morte di Annibale Visconti, ultimo discendente maschio di Domenico Ajcardi, il castello divenne proprietà di Ottavio Visconti, appartenente a un ramo cadetto che si estinse nel 1795 con la morte di Lodovico Visconti, in seguito alla quale Il castello e il borgo annesso ritornarono in parte alla Curia milanese per via delle devoluzioni delle investiture feudali. Cinque anni più tardi i beni furono acquistati dai fratelli Cristoforo e Carlo Arnaboldi di Como.[5]
Nel 1866 durante il Risorgimento, Vittorio Emanuele II di Savoia e Giuseppe Garibaldi, dall'alto della torre del castello, seguirono le manovre delle truppe implicate nel conflitto della Terza guerra d'Indipendenza[6] (una targa è esposta sul lato nord della torre).
Nel 1874 il castello, di proprietà di Bernardo Arnaboldi Gazzaniga conte di Pirocco, venne sottoposto ad un radicale intervento di restauro[7] per opera dell'architetto Ercole Balossi Merlo, tendente a ripristinare l'aspetto che questo doveva avere in epoca medievale secondo i precetti architettonici impartiti ai primi laureati del Politecnico di Milano. L'attuale aspetto è in sostanza il frutto di una ricostruzione in parte archeologica e in parte storica e filologica (con qualche elemento di gusto romantico), attraverso la riscoperta dell'affresco conservato nell'abside della chiesa dedicata a Santa Maria dell'Albero (cappella cinquecentesca che una volta si trovava all'interno delle mura del castello). Al termine dei restauri, l'Arnaboldi Gazzaniga spostò nel castello la propria vasta collezione di dipinti, arazzi e altre opere d'arte.[7]
Nel 1910 il castello ebbe l'occasione di diventare un set cinematografico quando il conte Arnaboldi ospitò la "Milano Film", di cui era azionista, per girarvi il cortometraggio Gioacchino Murat dalla locanda al trono, in cui lui, assieme ad altri esponenti dell'aristocrazia lombarda, fu anche attore. Per l'occasione furono impiegate 400 comparse e la scuderia per i cavalli di scena[8].
La proprietà rimase alla famiglia Arnaboldi fino al 1957 quando fu interamente ceduta a una società immobiliare, Società Generale Immobiliare, che ne fece un centro residenziale, realizzando anche il tuttora esistente campo da golf. Si tratta del primo esempio in Italia di zona residenziale con abitazioni unifamiliari, destinate a fungere da dimora permanente o stagionale dei residenti della vicina Milano, secondo un canone già largamente utilizzato negli Stati Uniti. Terminata la realizzazione della lottizzazione, la Società Generale Immobiliare cedette tutte le altre proprietà, fra cui il campo di golf, il castello e le ex scuderie (il Torchio). Le strutture sportive passarono a un altro ente che ne è tuttora gestore, mentre il castello fu venduto nel 1976 a una società di registrazione musicale, la Stone Castle Studios. In questo contesto, alcune stanze furono ristrutturate per essere adattate alle funzioni tecniche. Tra il 1977 e il 1987 gli Studios furono frequentati da artisti come Fabrizio De Andrè, Mia Martini, i Pooh, Lucio Dalla, Antonello Venditti, Riccardo Cocciante, Nena, Paul Young, Roberto Vecchioni e gli Yes.[9][10]
Nel 1986 il castello di Carimate passò nuovamente di mano ritrovando la vocazione all'accoglienza come ristorante e albergo con antiche sale attrezzate per meeting e banchetti. Entrambe le trasformazioni, al fine di adattare la vecchia struttura alle nuove esigenze, portarono a interventi di un certo peso sia sull'apparato decorativo sia sulla struttura dell'edificio. A partire dagli anni Novanta del secolo scorso, le ex scuderie furono trasformate in un luogo di attrazione civica e culturale per opera di una cooperativa di cittadini.
Attualmente il castello viene utilizzato come hotel.[11]