In der Zeit, in der Hasselbach in zweiherrischem Besitz lag, schlug der Verkehr andere Bahnen ein als heute; mit Vorliebe wählte er Höhenwege aus. Eine der verkehrsreichsten Straßen durch den Taunus war die sog. Rennstraße. Die prekäre öffentliche Sicherheit, die damals bedroht wurde durch die Ritterschaft, die teils aus Not, teils aus Habgier auf Raub ausging, war es wohl, was die Landesherren von Hasselbach, den Kurfürst-Erzbischof Jakob v. Sierk und den Grafen Philipp von Nassau, bestimmte, den Ort zu befestigen. Am 1. September 1441 wurde die Genehmigung dazu erteilt. Der diesbezügliche kaiserliche Erlass ist in einer beglaubigten Abschrift aus dem vorvorigen Jahrhundert im Pfarrarchiv vorhanden. Es heißt darin u. a.: „Die Erlaubnis wird erteilt, daß eine Stadt und Feste gemacht und gebaut werde mit Graben, Mauern und Toren, und daß die Leute, die zu Hasselbach sind oder hernach dahin kommen werden, von Steuern, Diensten, Lagern, Betteln und Beschwerden befreit sein sollen.“ Der in der kaiserlichen Urkunde angegebene Grund dieser besonderen Begünstigungen und Freiheiten bestätigt obige Vermutung: „Gemeiner Nutzwillen der Landleute und Gegenden um Hasselbach, und weil Beschädigungen derselben Lande und Leute und Heer mannigfaltig bestanden haben und noch bestehen möchten.“ Die Bewohner des Dorfes Hasselbach sollten also dieselben Freiheiten und Vergünstigungen genießen wie etwa die freie Reichsstadt Frankfurt/Main. So wurde denn Hasselbach als Schloss ausgebaut. Der Ort wurde in einer Länge von 240 Schritt und einer Breite von 120 Schritt mit Mauern umgeben, so dass die Feste ein Viereck darstellte, das doppelt so lang wie breit war. Die Mauer war viereinhalb Meter hoch und 75 cm breit, so dass man eben noch hinter der Zinne rings um den Ort gehen konnte. Auf jeder Seite war ein Tor. Eines davon war nur ein schmaler Durchgang für Personen; sein Name ist nicht mehr bekannt. Die Namen der anderen drei sind noch in aller Munde: das Untere, das Obere und das Stumpfe Tor. Bei jedem Tor war ein viereckiger Turm