Die Burg wurde im Auftrag des Erzbischofs Siegfried II. von Mainz durch Philipp von Bolanden, Videcomus des Rheingaus, ab etwa 1210 - wohl anstelle einer älteren Burg - an strategisch wichtiger Stelle gegenüber Bingen errichtet. Erstnennung 1222 als castrum erenvails (?), als die Burg an das Erzstift zurückfiel. Ehrenfels löste die Rüdesheimer Niederburg als Zollstelle ab und war Stützpunkt von Erzbischof Gerhard im Kampf gegen König Albrecht 1300/01. Im 14. Jh. Erweiterung unter Stiftsverweser Kuno von Falkenstein, zusammen mit Burg Klopp in Bingen stärkste Befestigung des unteren Erzstiftes. Nach 1356 Ausbau zum Hoflager durch Erzbischof Gerlach von Nassau. 1401 wird ein Kaplan zu Ehrenfels genannt. Häufiger Aufenthalt der Erzbischöfe, zeitweise hier Verwahrung des Mainzer Domschatzes. Seit 1379 war sie in Besitz des Mainzer Domkapitels, dem nach 1626 auch alle Zolleinnahmen zufielen. Im 30jährigen Krieg mehrfach belagert, 1689 Zerstörung durch Franzosen. Entfernung der äußeren Burganlagen beim Bau neuer Weinterrassen. 1990-95 Sicherung und Wiederherstellung der Ruine durch das Land Hessen.
Hangburg auf halber Höhe oberhalb der Rheinbiegung am Binger Loch. Aus dem 13. Jh. stammende, etwa quadratischer Anlage mit ca. 4,6 m starker, etwa 20 m hoher Schildmauer an der Nordseite und zwei im 14. Jh. auf etwa 33 m erhöhten Eckflankentürmen. Der westliche achteckig, der östliche rund, beide mit achtseitigen Wehrgeschossen über Maßwerkfriesen. Die Umfassungsmauern mit der Außenwand des zum Rhein gelegenen Palas sind nicht in voller Höhe erhalten. Der nördliche Halsgraben zieht sich auch um die Westseite. Vor der Ostmauer Spuren des im 14. Jh. angefügten Außenpalas, eines hohen Wohngebäudes mit abgerundeter Ecke, das auch die Burgkapelle enthielt, und eines Torzwingers; an der Südseite Terrassierungen für einen Zwinger mit Bastionen. Im Hof eine Zisterne; Reste von Fliesenböden.
Die malerische Ruine im Rebenhang, ein beliebtes Motiv der Rheinromantik, bildet eine weithin sichtbare Landmarke von zeichenhafter Wirkung am Tor zum Steiltal. Die vormals kleinteilig terrassierte Umgebung der Burg wurde durch Flurbereinigungsmaßnahmen großflächig umgestaltet und in ihrer Maßstäblichkeit stark verändert.
Unterhalb der Burg am Rheinufer befand sich das Zollhaus, ein aus mehreren, teilweise burgartig befestigten Häusern und Fachwerkbauten bestehender Komplex mit Wohnung des Zollschreibers, großem Lagergebäude und Kaimauer. Ein Schlussstein mit Jahreszahl 1597 und Wappen von Domkapitel und Erzbischof Wolfgang von Dalberg - am Bahndamm gegenüber der Zollmauer - weist auf Ausbauarbeiten zu dieser Zeit hin. Die im 17. Jh. bereits wieder ruinöse, im 30jährigen Krieg zerstörte Stätte wurde 1775 abgebrochen, nachdem die Zollstelle 1769 nach Bingen verlegt worden war; letzte Reste verschwanden im Zuge des Eisenbahnbaus um 1858. Einige Quader wurden in der Kaimauer unterhalb der Burg verbaut.
(Mäuseturm)
Gegenüber auf einer Rheininsel steht als weiterer Bestandteil der Wehr- und Zollanlage der zum Bundesland Rheinland-Pfalz gehörige Mäuseturm (von Maut = Zoll oder Musthurm = Geschütz- oder Waffenturm). Um 1270 erbauter quadratischer, viergeschossiger Turm mit sechseckigem Treppenturm, ehemals mit Walmdach und Eckerkern; er wurde 1855-58 in neugotischem Stil als Wahrschaustation für die Rheinschiffahrt ausgebaut.