Als "Villa que vocatur Riiwillere" ist Rheinweiler im Jahre 1097 im Basler Urkundenbuch das erste Mal urkundlich erwähnt.
Das Dorf mit Gericht, Zwing und Bann war einst königliches Besitztum, welches als Reichslehen Ende des 14. Jahrhunderts in den Besitz der reichen Basler Patrizierfamilie von Schaler gelangte. Nach einem Kaufbrief vom 24. April 1417 verkaufte der Edelknecht Junker Hermann Schaler seinen halben Teil und alle Rechte an den beiden Dörfern Bamlach und Rheinweiler. 1434 verkaufte auch Junker Klaus Ulrich seinen halben Teil an den Ritter Bernhard von Rotberg.
Die Vorfahren der Familie von Rotberg stammen aus der Schweiz und sind benannt nach der Burg Rotberg, die heute eine Jugendherberge ist. Hans Jakob I. von Rotberg, Sohn des Arnold von Rotberg, siedelte 1516 von Basel nach Rheinweiler über und übernahm als Herr zu Bamlach und Rheinweiler diese Herrschaft. Über 400 Jahre war die Herrschaft im Besitz dieser Familie. Ihr Schloß, bestehend aus einem Wohnhaus, Kapelle, Wirtschaft und Garten, das mit einer Mauer umgeben war, war ebenfalls ein Reichslehen, das später in den Eigenbesitz der Familie gelangte.
Einer der größten Grundbesitzer in Rheinweiler war das Kloster St. Blasien, das sowohl durch den Besitz von Bürgeln als auch durch den der Weitenauer Probstei, Bürgler und Weitenauer Güter innehatte. Eines der 20 Häuser, die es im Jahr 1525 besaß, war der Weitenauer Hof, der um 1783 von Dietrich Wenk und Josef Dosenbach bewirtschaftet wurde. Auf seiner Hofreite steht heute das alte Schulhaus, das auch das Rathaus beherbergte.
Mit der Schaffung des Großherzogtums Baden (1806) und der Säkularisierung des Klosters St. Blasien zu einer Zeit, in der Napoleon noch regierte, begann ein neuer Abschnitt der Geschichte Rheinweilers. Die santkblasianischen Besitzungen in Rheinweiler gingen vorerst in den Besitz des badischen Staates über, wurden jedoch balds dem Privatbesitz übergeben. Die grundherrschaftlichen Ämter, also auch das Amt der Herren von Rotberg, blieb zunächst bestehen. Erst 1819, nach Auflösung des Bezirkes Kandern, wurde Rheinweiler dem Amtsbezirk Müllheim zugeteilt. Zu diesem Amt gehörte es 120 Jahre land. 1939 kam Rheinweiler zum Landkreis Müllheim.
Unter Johannes Fräule wurde der Grenzvertrag Badens mit Frankreich 1840 abgeschlossen. Gleich danach nahm man die Rheinvermessung und dessen Korrektion in Angriff (Tulla). Dieser neue Rhein wurde 1918 die Grenze von Rheinweiler nach Frankreich. Hierbei verlor der Ort 12 ha Gelände, das einst badisch war und nun zum Elsaß kam. 1848 erfolgte der Bau der Eisenbahnlinie Karlsruhe - Basel, die dicht am Ortskern vorbeiging.
Von 1892 bis 1908 war Johann Baptist Dossenbach Bürgermeister. Während seiner Amtsperiode wurde die Wasserversorgung in Rheinweiler geschaffen, die in den folgenden Jahrzehnten beachtlich erweitert wurde. 1910 wurde die erste elektrische Lichtleitung im Ort installiert. Auch ein Teil der Wasserleitung wurde verlegt. Der jahrhundertealte Fährbetrieb zwischen Rheinweiler und dem Elsaß wurde während des Ersten Weltkrieges eingestellt, auch nach dem Ersten Weltkrieg ging die Zahl der Rheinweiler Schiffseigner weiter stark zurück.