Zu dieser Zeit entstand um den Hof der Gebrüder Brilon das Kirchdorf Brilon. In der Nähe des Dorfes errichtete der Erzbischof von Köln um 1217 zur Sicherung seiner Macht gegenüber der angrenzen-den Grafschaft Waldeck und dem Bistum Paderborn die Stadt Brilon. Um die Bürger vor Eindringlingen zu schützen, wurde die Stadt mit einem doppelten Wall, einem Graben und einer Mauer mit 12 Wachtürmen und vier Stadttoren befestigt. Von der Stadtbefestigung ist nur das Derkere Tor erhalten geblieben. Der Verlauf der Mauer lässt sich noch heute an den ringförmigen Straßenzügen erkennen.
Schon bald nach der Errichtung der Stadt wurde Brilon zur Hansestadt. Durch den regen Fernhandel, der sogar bis Russland reichte, und den Ab-bau von Erzen erfuhr Brilon einen raschen wirtschaftlichen Aufschwung. Auch politisch gelangte Brilon zu immer größerer Bedeutung. Es erhielt die Privilegien einer eigenen Gerichtsbarkeit und wurde 1444 sogar zur Hauptstadt von Westfalen ernannt. Mit ca. 3.000 Einwohnern war Brilon zu einer der größten Städte Deutschlands herangewachsen.