Il castello non è visitabile, oggi sede di una scuola penitenziaria. storia: Secondo la leggenda, nel IX secolo il normanno Gelmel eresse una torre di castello in legno con un fossato attorno. Intorno al XII secolo, questa torre di legno fu trasformata in un castello di pietra. Jan IV van Cuijk ristrutturò il castello in stile gotico nella prima metà del XV secolo. Dopo l'eredità, il castello e la terra di Hoogstraten passa nelle mani della famiglia van Culemborg e Van Lalaing.
Sotto il primo conte di Hoogstraten, Anton I van Lalaing e sua moglie Elisabeth van Culemborg, il castello fu trasformato in un bellissimo e lussuoso castello rinascimentale. Chiedono l'aiuto di Rombout II Keldermans. Il complesso aveva tre bastioni fortificati, torri di avvistamento, ponti levatoi, un'armeria, diverse cappelle, saloni riccamente decorati e colonnati. Dopo la loro morte, il castello e la terra di Hoogstraten passarono al conte Philip van Lalaing.
Il castello sopravvive all'assedio di Maarten van Rossum nel 1542. Ma brucia nel 1581 e cade in grave rovina dopo un assedio nel 1603. Ci sono piani per il restauro nel XVII secolo, ma non vengono attuati.
Maria-Gabriëla de Lalaing era l'ultima discendente della casata di Lalaing. Era sposata con Karl Florentin zu Salm, wild- und rheingraf von Dhaun-Neufville, un generale di fanteria della Repubblica dei Sette Paesi Bassi Uniti. Dopo la sua morte, il castello passa nelle mani della famiglia Salm. Suo nipote, rheingraf Nikolaus Leopold zu Salm-Salm, fece restaurare il castello. Nel 1740 divenne il primo duca di Hoogstraten e nel 1743 principe di Salm-Salm.
Il castello viene nuovamente colpito da un incendio nel 1768; il nucleo del castello, il castello interno, non è più ricostruito. L'ala meridionale del complesso castellano è oggi adibita ad ala di residenza della famiglia principesca.
In epoca francese il castello viene nazionalizzato, saccheggiato e in parte demolito. Viene utilizzato come caserma della gendarmeria e dal 1810 come ricovero per i mendicanti[1]. Dopo il 1815 la famiglia Salm-Salm si riprende le terre, ma il castello rimane in possesso dello stato olandese. Dal 1880 il castello viene adibito a colonia agricola e dal 1931 nel castello è stato istituito un centro scolastico penitenziario [2].