Unweit des fürstlichen Marstalls befindet sich das ehemalige Kavaliershaus, einst Sitz der Geheimen Kanzlei. Der spätbarocke Bau erhielt 1738 durch den Hofbaumeister Friedrich Joachim Stengel seine bis heute überkommene Gestalt. Zweigeschossig mit fünfachsiger Traufseite. Der repräsentative Eingang im einachsigen Mittelrisalit mit Gurtlisenen und Segmentbogengiebel. Das flache Satteldach von drei Gaupen bekrönt, die mittlere mit Ziervoluten am Fenstergewände. Heute beherbergt der Bau eine Dependance des Stadtmuseums.