Die Befestigung der Burgsiedlung wird ursprünglich nur aus Wassergräben, Erdwällen und Hecken bestanden haben; schon 1253 wird eine „Wiese hinter der Hecke der Burg“ (pratum retro [in]daginem castri) (zit. nach Biller) erwähnt. Eine feste Ummauerung, von der es außer im Rathaus nur noch geringe Reste gibt, wurde erst in der Hussitenzeit nach 1430 begonnen, als auch der „Hussengraben‘“ angelegt wurde. Der nördliche Teil der Siedlung zwischen dem Nordgraben der Burg und dem nördlichen Arm der Kinzig wurde erst um 1479 in den Befestigungsring einbezogen. Damals erlaubte man der Burggemeinde als Gegenleistung dafür, dass die Stadt Gelnhausen den Fratzenstein vollenden durfte, die bestehenden Zäune durch Mauern und Tore zu ersetzen. Die Tore zur Stadt, das nordwestliche „Tränktor“ und das östliche „Obernhäuser Tor“ sind beide bis auf kleinere Mauerreste mit Brustwehr über einem Bogenfries und eine spitzbogige Pforte abgebrochen. Im Süden ist der Unterbau des „Haintores“ erhalten.
Restbestände des Burgtores wurden neben dem Sparkassengebäude in einer kleinen Grünanlage an der Barabarossastraße wieder errichtet.