Najstarsza informacja dotycząca rezydencji w Starejwsi zawarta jest w inwentarzu majętności węgrowskiej sporządzonym w 1619 roku przez Jakuba Nurzyńskiego na polecenie Janusza Radziwiłła, kasztelana wileńskiego (ojca koniuszego litewskiego Bogusława Radziwiłła). Z dokumentów tych wynika, że pałac był jednym z elementów tzw. założenia dworskiego, składającego się ponadto z drewnianego dworku oraz stojących osobno łaźni, kuchni i oficyny a także folwarku. Rezydencja, leżąca na terenie granicznym między Podlasiem a Koroną, miała charakter obronny, otoczona była wzmocnioną basztami palisadą oraz zachowaną do dziś fosą. Pałac był murowaną, trzykondygnacyjną budowlą, krytą ceramicznym dachem z wieżą z umieszczonym na niej, na wysokości drugiego piętra zegarem. Wejście usytuowane było w osi elewacji frontowej i prowadziło do sieni ze schodami. Piętro o charakterze reprezentacyjnym przykryte było stropem belkowym. Znajdowały się tam apartamenty księcia i księżnej, zdobione polichromiami, z galeriami obrazów (m.in. portrety książąt Janusza i Krzysztofa Mikołaja Radziwiłłów) oraz zajmująca połowę kondygnacji sala jadalna z ośmioma oknami.
Pałac był kilkakrotnie remontowany i modernizowany. Poważnej przebudowy dokonano w latach 1655-61 staraniem księcia Bogusława Radziwiłła. W narożach od frontu dobudowano dwie wieże, kryte baniastymi hełmami, dach został pokryty dachówką. Układ wnętrz i ich rozmieszczenie nie zmieniło się. Z inwentarza sporządzonego w trakcie przebudowy w 1659 roku przez Władysława Starzyńskiego i Jana Pękalskiego wynika, iż pałac był w owym czasie wyposażony m.in. w potrójny system fortyfikacji, podwójną palisadę i fosę. Dzięki tym umocnieniom bez uszczerbku wyszedł z wojen szwedzkich.