Dzwonnica została wybudowana w 1744 r. razem z drewnianym, modrzewiowym kościołem pw. św. Jakuba Apostoła w Świerżach Górnych. Po 2 wiekach istnienia, w wyniku działań wojennych na przyczółku warecko-magnuszewskim, kościółek został zrujnowany w 1944 r. Do czasów nam obecnych, pomimo zniszczeń w latach I i II wojen światowych, dzwonnica jednak pozostała i możemy obecnie podziwiać ten wyjątkowy zabytek.
Choć sam kościół drewniany nie zachował się do czasów obecnych, na jego miejscu została wzniesiona świątynia pod tym samym wezwaniem św. Jakuba Apostoła według projektu arch. Władysława Pieńkowskiego. Kościół zbudowany został w latach 1950-1965 staraniem: ks. Romana Żywczyka, ks. Jana Stępnia i ks. Adama Sochy. Poświęcił go 4.07.1966 r. biskup Piotr Gołębiowski. Kościół jest budowlą trójnawową, wzniesioną z kamienia i czerwonej cegły.
W czasie II wojny światowej w obawie przed rekwizycją i przetopieniem dzwonów rozbrzmiewających w świerżowskiej dzwonnicy, mieszkańcy miejscowości postanowili ukryć znajdujące się tam 3 dzwony. Zdjęli je, przenieśli i zakopali na terenie ówczesnego urzędu gminy, gdzie obecnie znajduje się lokalny Ośrodek Zdrowia, w pobliżu drwalni. Miejsce ukrycia zamaskowali trocinami i zachowali w tajemnicy. Na szczęście uczestnicy akcji, wśród których byli m.in. Stanisław Tynkowski i Michał Rybak – przedwojenny wójt gminy Świerże Górne – przeżyli wojnę, a dzwony odkopano po wycofaniu wojsk niemieckich.
W 1947 r. dzwonnica została wyremontowana. Zainstalowano na niej uratowane 3 dzwony (najmniejszy z 1721 r., średni „Jakub" z 1896 r., duży „Franciszek" z 1877 r.), które wisiały do czasu wybudowania w latach 1979-1980 w nowej, murowanej dzwonnicy wewnątrz kościoła. Po wybudowaniu nowej murowanej dzwonnicy, drewniana powoli ulegała zniszczeniu i dewastacji. Przed zupełną dewastacją zabytek uchroniły prace konserwatorsko-renowacyjne przeprowadzone w 2005 r. z inicjatywy m.in. Towarzystwa Miłośników Ziemi Kozienickiej. Prace, wg projektu Jerzego Szałygina, wykonali specjaliści z okolic Ełku.
Dzwonnica znajduje się na terenie podwórza kościelnego, w jego północno-wschodnim rogu.
Fundamenty zabytku są betonowe, wypełnione kamieniem i cegłą. Drewniane podwaliny, w ilości 6 sztuk, ułożone są krzyżowo, mają wymiary 30x30 cm. Podwaliny opierają się na podmurówce, natomiast same dają wsparcie dla 9 słupów drewnianych stanowiących szkielet. Konstrukcja szalowana jest deskami stawianymi pionowo na półfelc. Słupy połączone są wiązaniem krzyżowym i czopowane w podwalinę. Na środkowym słupie oparte są krokwie wiązane w stożek. Konstrukcje wzmacniają zaciosy i miecze, połączone tryblami – drewnianymi kołkami. Umocowanie krokwi na zacios. Dach został pokryty gontem. U góry występuje belkowanie równoległe dla umieszczenia dzwonów, których było 3. Wejście otwarte jest na zachód. Dach jest czterospadowy łamany, polski – namiotowy. Zakończony jest krótką sterczyną, a sterczyna szpicem z kulą. Na dole daszek – okap cokołowy, osłaniający podwaliny. Daszek chroniący podwaliny oraz dach pokryte są dartym gontem. Górna kondygnacja oszalowana jest pionowymi deskami z listowaniem. W górnej części nieoszalowane otwory dzwonowe zamknięte mieczami w formie pełnego łuku. Kubatura dzwonnicy wynosi około 430 m³, natomiast powierzchnia użytkowa 48,5 m². U podnóża dzwonnicy leży kamienna płyta, która była wmurowana w jeden z czterech słupów bramy z 1907 r., płyta zawiera zachowany fragment inskrypcji.