Das Rathaus, mit seiner Front dem Marktplatz zugewandt, ist um 1250 entstanden und gehört somit zu den ältesten Rathäusern Deutschlands. Während der Blütezeit der Hanse, diente es als Gildehaus (Verkaufsstätte), in dem heimische Handwerker, Krämer und auch fremde Kaufleute ihre Waren anboten.
Einem Umbau, ca. 1755, nach Plänen des waldeckschen Baumeisters Johann Matthäus Kitz verdankt das Briloner Rathaus seine heutige stilvolle Barock-Fassade. Er behielt in seinem Entwurf die beiden mittelalterlichen Spitzbögen bei und verband so eindrucksvoll gotische und barocke Elemente.
Im Giebel und im Sockel des Bildstocks aus dem Jahre 1688 zu Füßen der Fassade finden sich zwei ähnliche Wappen, es sind die mittelalterlichen Siegel der Stadt. Inmitten der Frontseite steht das Standbild des Schutzpatrons der Stadt, Sankt Petrus.

Im Sockel unter dem Standbild ist folgende Inschrift eingemeißelt:
„eXsVrglt theMIDos reaparata VetVstlor aVLa aVXILIo perstet, Petre, saCrata tVo“.

(Es erhebt sich die erneuerte recht alte Gerichtshalle. Mit Deiner Hilfe möge sie feststehen, Petrus, da Sie Dir geweiht ist.)

In diesem lateinischen Text sind alle Schriftzeichen, die zugleich römische Zahlzeichen sind, herausgehoben. Die Summe der römischen Zahlelemente ergibt die Jahreszahl 1755. Dieses Spiel mit Wort und Zahl nennt man „Chronogramm“.
Oberhalb der beiden bogenförmigen Eingänge sind vier Geweihe kapitaler Hirsche befestigt. Sie symbolisieren die großen Jagdreviere der waldreichen Stadt und verweisen auf das Recht der „hohen Jagd“ der Stadt Brilon, das nochmals vom Landtag 1619 bestätigt wurde.