Grundlage des Unternehmens Rheinstahl war die Société Anonyma Aciéries du Thin, die 1870 in Paris von Barthold Suermondt gegründet wurde. 1872 firmierte der Betrieb um zu dem Namen „Rheinische Stahlwerke“. Durch geschickten Erwerb von Patentrechten stieg das Unternehmen schnell auf, 1882 errichtete der Betrieb ein neues Schienenwalzwerk und beschäftigte 1.331 Personen. Im selben Jahr erwarb Rheinstahl die Minette Erzgrube in Algringen (Lothringen, Frankreich).
Zwei Jahre später (1884/1885) begann Rheinstahl mit dem Bau eines Stahlwerks in Duisburg. In den Jahren 1887/1888 folgten zwei Hochöfen und ein integriertes Hüttenwerk. 1891 arbeiteten bereits 2.100 Menschen bei den Rheinischen Stahlwerken. In den folgenden Jahren vergrößerte der Betrieb sich stetig weiter, übernahm unter anderem die Vereinigte Walz- und Röhrenwerke AG und beschäftigte 1911 schon 11.697 Arbeitskräfte.
1926 brachten die Rheinischen Stahlwerke sich in den Zusammenschluss der Vereinigten Stahlwerke ein. Bei deren Entflechtung nach dem Zweiten Weltkrieg gliederten sich neben den Bergwerken auch Weiterverarbeitungsbetriebe wie die Rheinstahl Union Maschinen- und Stahlbau AG sowie Teile der Ruhrstahl AG mit den Werken Henrichshütte, Annener Gusstahlwerk und Presswerke Brackwerde, mehrheitliche Teile der Dynamit Nobel, die Rheinisch-Westfälische Eisen- und Stahlwerke AG in Essen und deren Bochumer Verein an die Rheinstahl an. 1952 übernahm die Firma außerdem die Hanomag (siehe hier) und die Kasseler Henschel-Werke.
Ende der 1960er-Jahre geriet der Konzern in Schwierigkeiten, auf die zunächst mit einer Umstrukturierung reagiert wurde. 1973 übernahm die August Thyssen-Hütte AG die Mehrheit der Anteile. 1976 verschwand der Name „Rheinstahl“ von der Bildfläche, die noch existierenden Teilunternehmen des Rheinstahl-Konzerns gehören heute zu ThyssenKrupp.
Bekannt wurde insbesondere die Rheinstahl Union Brückenbau AG, durch Bauwerke wie den Assuan-Staudamm in Ägypten und die Zoobrücke in Köln.
