Het bouwwerk kwam tot stand in 1587. Oorspronkelijk wenste Prins Maurits dat er een kerk én een raadhuis zou worden gebouwd in het nog jonge dorp. Vanwege de oorlogssituatie was daarvoor geen geld. Aldus werd een soort multifunctioneel raadhuis ontworpen waarin men ook kerkdiensten kon houden en dat voorzien was van een toren met luidklok. De kleine klok werd gegoten door de Utrechtse bronsgieter Thomas Both. Deze droeg het opschrift: Soli Deo Gloria – Thomas Both me fecit 1588. Ze werd in 1610 overgebracht naar de rond die tijd gereedgekomen Koepelkerk. De grote klok, die nog steeds in de raadhuistoren hangt, stamt vermoedelijk uit het einde van de 12e eeuw en is daarmee wellicht de oudste nog bestaande luidklok in Noord-Brabant. Deze klok werd in 1943 nog door de bezetter gevorderd, maar ze werd niet omgesmolten en kon in 1945 weer terug in de toren worden gehangen.
In de toren bevond zich ook een roepstoel, voorzien van een bakstenen stergewelf. De boven de roepstoel aangebrachte wapensteen werd in 1798, tijdens de Bataafse Republiek, verwijderd. Op het dak werd in 1588 een windvaan geplaatst in de vorm van een meerman met zwaard.
In 1620 werd het -tot dan toe eenvoudige- gebouw verfraaid met een Vlaamse gevel, naar een ontwerp van Frans Leenwijnsse. Er kwamen enkele dakvensters in de nieuwe kap en de zolder ging fungeren als bewaarplaats voor gereedschap van oorlog, zoals hellebaarden en dergelijke. De wapenstenen in de gevel werden in 1798 eveneens verwijderd, om in 1937 weer te worden aangebracht.
In 1786 onderging het gebouw een algehele restauratie, waarbij de oude stenen moesten worden schoongemaakt opdat het gebouw één egale, uniforme en sierlijke couleur zou bekomen. In 1812 werd de torenspits afgebroken, daar op de toren een semafoor van Chappe geplaatst, welke in 1815, na de val van Napoleon, weer verwijderd werd, waarop de spits werd herbouwd.
In 1973 werd het raadhuis verplaatst naar het Mauritshuis, om in 1999 door de gemeente Moerdijk te worden verkocht. Het werd gekocht door een particulier en gerestaureerd, om in 2005 te worden heropend.