De naam "Vrieselhof" gaat terug op Jan van Vriesele, een edelman uit Kontich die rond 1300 ongeveer 24 bunders grond kocht in Oelegem (ongeveer 32 ha). Hij gaf de grond als bruidsschat voor zijn dochter. Meer gegevens uit die tijd zijn niet bekend. In 1450 werd een belangrijke hoeve met heerlijke rechten vermeld op het domein, dat bossen, heide en moerasgebied omvatte. In 1457 was er sprake van een ridderlijk hof, geheten 't hof van Vriesele. De eigenaar, Matheeus van Steenbergen, kreeg toen van Filips de Goede, de hertog van Bourgondië toestemming om aan zijn hof een laathof op te richten. Dit was een lagere rechtbank waar een meier kon oordelen over plaatselijke geschillen. In 1495 erfde Josine van Steenbergen het domein. Toen werden voor het eerst hofgrachten vermeld. Onder de eigenaars van het kasteel bevonden zich enkele burgemeesters van Antwerpen: Kosten van Halmale en Hendrik van Halmale.
Tijdens de Tachtigjarige Oorlog (16e -17e eeuw) gingen de inwoners van Oelegem meermaals schuilen in het kasteel. Vanaf 1509 hadden leden van de familie van Halmale het domein in bezit. De laatste telg, Alfons-Ignace van Halmale stierf kinderloos in 1788. Daarna kwam het kasteeldomein in handen van Charles-Ignace d'Oultremont en zijn vrouw Anne-Henriette de Neuf. Deze laatste had toch nog banden met de familie van Halmale: haar grootmoeder was Barbara Anna Philippa van Halmale (dochter van Alexander Jozef van Halmale, die eveneens burgemeester van Antwerpen was). Voor de nieuwe erfgenamen was het kasteel een buitenverblijf waar ze weinig verbleven.
In de 19e eeuw gebeurden er restauratiewerken aan het kasteel. Het nabijgelegen koetshuis met stalling dateert van 1877. In 1910 werd graaf Louis de Brouckhoven de Berkeyck eigenaar van het geheel. Hij liet het oude kasteel herbouwen in neo-Vlaamse-renaissancestijl met trapgevels, speklagen en hoektorens, maar na het uitbreken van de Eerste Wereldoorlog lieten de Belgische troepen het kasteel om strategische redenen afbranden op 7 oktober 1914. Tussen 1917 en 1919 werd het huidige kasteel herbouwd in dezelfde stijl als het pas recent gebouwde, verwoeste kasteel. In 1974 werd het kasteel en het bijhorende domein door de kleinkinderen van Louis de Brouckhoven de Berkeyck verkocht aan de provincie Antwerpen.
Bron : Wikipedia