W 1840 r. właściciel dóbr guzowskich Henryk hr. Łubieński przy powstającej z jego inicjatywy Drodze Żelaznej Warszawsko-Wiedeńskiej zobowiązał się wybudować w Rudzie Guzowskiej (ob. Żyrardowie) dworzec wraz z potrzebnymi budynkami stacyjnymi. Budynek wyposażony w poczekalnię, kasę biletową i pomieszczenie dla urzędników miał być wybudowany za pieniądze pożyczone z Banku Polskiego, którego Łubieński był wówczas wiceprezesem. Dworzec powstał do 1845 r. w stylu „szwajcarskim” wg proj. arch. Jana Jakuba Gaya, budowniczego wielu obiektów przemysłowych w osadzie fabrycznej Żyrardów. Obiekt ten nie spełniał wymogów postawionych przez Zarząd kolei i hr. Łubieński zobowiązał się do jego ponownego wzniesienia. Umowy jednak nie dotrzymał ze względu na proces i wyrok o defraudację. W l. 1872-1884 po wykupieniu gruntów przez spółkę zbudowano typowy koszarowy budynek stacyjny w tzw. stylu ceglanym, a także zaplecze mieszkalno-hotelowe i wieżę ciśnień. Dworzec był budynkiem parterowym z dwukondygnacyjnym, trójosiowym ryzalitem środkowym. Został poważnie uszkodzony podczas I wojny światowej w 1914 r., podczas wycofywania się wojsk niemieckich. Jego mury wykorzystano przy odbudowie obecnie funkcjonującego dworca (co widać w jego bryle). Był to częsty zabieg stosowany przy odbudowie dworców w l. 1918-24 w ramach programu odbudowy infrastruktury kolejowej po wojennych zniszczeniach. Obecny dworzec żyrardowski powstał zapewne wg proj. Romualda Millera w pierwszym etapie tych prac w l. 1920-22 w stylistyce, która miała być „widocznym znakiem ducha polskiego”. Należał do typu większego dworca z rozbudowanymi funkcjami obsługi pasażerów, podobnie jak największy na tej linii budynek stacyjny w Grodzisku Mazowieckim. Obok zbudowano też wieżę ciśnień wg proj. kilkakrotnie zrealizowanego także w stylistyce nawiązującej do baroku. Zapewne w l. 30.-tych XX w. budynek stacyjny rozbudowano dodając po bokach podcienia arkadowe z pawilonami, przejścia podziemne pod torami i wiatę peronową. Zadaszenie to zburzono podczas gruntownego remontu dworca przeprowadzonego w l. 2005-07.