Die in der Ohmniederung weithin sichtbare Burg Schweinsberg wurde auf der Höhe eines Basaltkegels durch Guntram von Marburg, dem Stammvater der Freiherrn Schenck zu Schweinsberg, zwischen 1230 und 1234 erbaut. Wegen ihrer günstigen Hügellage inmitten eines Sumpfgebietes war sie kaum einnehmbar und errang über lange Zeit als neutraler Sperriegel zwischen der mainzischen Amöneburg und dem landgräflich-hessischen Homberg a.d. Ohm eine besondere Bedeutung. Im Dreißigjährigen Krieg wurde die Burg belagert und 1635 zusammen mit Stadt weitgehend eingeäschert; danach verfiel sie allmählich, bevor man sie 1888--90 wieder freilegte. Von der Burg des 13. Jhs., der Oberburg, sind nur noch Mauerreste vorhanden. Sie bestand aus einer vieleckigen, nahezu runden Zwingermauer, in die ein dicker Rundturm eingebunden war. Im 14. Jh. nahm man eine Vergrößerung der Burg vor: es wurde, vermutlich in Zusammenhang mit der Stadtbefestigung, die noch jetzt vorhandene innere Zwingermauer mit Strebepfeilern angelegt. Um 1482 entstand durch den landgräflich hessischen Festungsbaumeister Hans Jakob von Ettlingen die äußere Zwingermauer mit vier halbrund vorspringenden, kasemattierten Türmen, ferner auf der Stadtseite der mächtige, runde, dreigeschossige Hexenturm und an der Nordseite ein Torbau mit langer Durchfahrt und viereckigem Turm, datiert 1482. Vor diesem Haupttor steht eine kleine Vorburg, deren Eingangstor von einem runden Wehrturm flankiert wird. Vor- und Hauptburg waren ehemals durch einen die äußere Zwingermauer umgebenden Graben getrennt, jetzt sind sie durch eine feste Straße verbunden.
Von den vielen Wohn- und Wirtschaftsgebäuden sind heute im wesentlichen nur noch zwei erhalten: die neue Kemenate und der Fähnrichsbau. Die neue Kemenate ist als dreigeschossiger Steinbau zwischen 1459 und 1497 von Konrad Schenck errichtet, 1635 abgebrannt und 1637 wieder aufgebaut. Das ehemals vierte Fachwerkobergeschoß wurde 1852 abgetragen und stattdessen das heutige steile Satteldach mit den Treppengiebeln aufgesetzt. An drei Seiten sind kleine Ecktürmchen angefügt, an der vierten, der östlichen Hofseite, steht ein Treppenturm. Die Fassade ist durch rechteckige Fenster bestimmt, die Geschosse sind durch Gesimse getrennt, das letzte Turmgeschoß kragt auf einem Rundbogenfries vor. Im Erdgeschoß haben sich zwei große Räume erhalten: die Halle, deren vier Kreuzrippengewölben auf einer kapitellosen Mittelsäule ruhen sowie der durch ein Netzgewölbe überdeckte Saal. Der nördliche, gotisierende Anbau entstand im Rahmen des Dachumbaus von 1852.
Der Fähnrichsbau wurde zwischen 1530-52 unmittelbar neben dem inneren Torbau errichtet. Als zur Neustadt hin hoch aufragender Bau besteht er aus zwei massiven Untergeschossen, die durch Rechteckfenster, Pechnasen, Schießscharten und die Reste von Ecktürmchen gegliedert ist. Die beiden Obergeschosse hinter der dem Burghof zugekehrten Giebelwand aus Stein sind in die zweiten Hälfte des 17. Jhs. zu datieren. Im trapezförmigen ersten Untergeschoß ruht das Kreuzgratgewölbe auf einer Mittelsäule, auf deren ornamentiertem Renaissancekapitell sich die Jahreszahl 1552 erhalten hat. Von besonderer handwerklicher Qualität zeugt die Wendeltreppe; am Fuß ihrer über drei Geschosse durchgehenden, aus einem Stamm gezimmerten Holzspindel ist ein reliefierter Zippus eingeschnitzt. Auf dem Burghof befinden sich noch ein Grabmal des Moritz Schenck von 1822 sowie ein Ziehbrunnen; sonst haben sich von den ursprünglichen Bauten nur Mauerreste und Kellerräume erhalten.