Nur wenige Schritte vom Markt entfernt steht das geschichtsträchtige, im spätgotischen Stil erbaute
»Haus Rupenstein«.

Es trug im Laufe der Zeit mehrere Namen, u.a. auch Kelmishaus, als es 1526 im Besitz der Antwerpener Galmeihandelsgesellschaft Schetz war. Das Stammhaus der Firma in Antwerpen hieß »Haus von Aachen«, also nannten die neuen Eigentümer das Gebäude in der Pontstraße »Großes Haus von Aachen«.

Da Mitte des 19. Jahrhunderts das Polizeigefängnis vom Rathaus ins Haus Rupenstein verlegt wurde, bekam das Gebäude den Namen »de Vijjeling«, denn »violin« bedeutet im Französischen Polizeigefängnis.

1460 gehörte das Haus Zilman von Boesbach, ab 1493 dann dem einflussreichen Schöffen Heinrich Dolhart, der es völlig umbaute. Dolhart wurde später wegen Silberdiebstahls 1508 auf dem Markt enthauptet.

Haus Rupenstein gehört zu den wenigen Gebäuden, die den verheerenden Stadtbrand von 1656 überstanden. Zehn Jahre später ging das Haus in städtischen Besitz über. Ab 1717 stand hier die Stadtwaage. 1854 zog die Polizeiverwaltung ein. Bis 1910 blieb das Gebäude auch Gefängnis, und es ranken sich viele Anekdoten um das alte Gemäuer.