A l'emplacement de la ville, se trouvait un important vicus romain, précisément sous la moitié sud. Occupé à l'époque romaine, son nom en témoigne encore "Rubeacum" ou "domaine de Rubius".
Domaine royal à l'époque franque qui fût, selon la tradition, offert à l'évêque de Strasbourg par le roi Dagobert en suite à la résurrection miraculeuse de son fils Sigebert.
Rouffach devint alors chef lieu de la seigneurie épiscopale du "Mundat" ou "l'Immunité".
L'évêque de Strasbourg qui y possédait dès le 7ème siècle le château d'Isenbourg, fit fortifier d'une double enceinte, Rouffach aux 11ème et 12ème siècles.
Rouffach restera jusqu'au 13ème siècle la seule ville fortifiée du Haut Rhin.
En 1106, le futur empereur Henri V résida au château et les habitants furent molestés par ses gens. Les habitants révoltés l'expulsèrent et confisquèrent ses insignes royaux. Mais courroucé, celui-ci revint et incendia la ville.
La légende veut que ce soit les femmes qui aient pris les armes et chassé le roi, car les hommes n'en avaient pas eu le courage...
C'est depuis ce haut fait de bravoure qu'elles occuperaient les bancs de droite dans l'église (et non ceux de gauche comme ailleurs en Alsace).
La ville et le château dévastés en 1198 par le roi Philippe de Souabe, contre qui l'évêque de Strasbourg s'était révolté, furent agrandis au 13ème siècle.
Rouffach vécut des persécutions contre les Juifs au 14ème siècle, puis fût pillé par les "Armagnac" en 1444 et pour finir dépeuplé par la guerre de Trente ans.
En 1663, l''évêque de Strasbourg reconnut à la France la souveraineté sur Rouffach et le Mundat.
Rouffach est aussi la ville natale du maréchal Lefèbvre, maréchal de Napoléon Ier.
Vestiges d'habitat néolithique ancien et moyen au lieu dit "Gallbühl".
Présence de sépultures des âges du bronze et du fer.
Des fouilles récentes, place de l'Église, ont permis de retrouver des vestiges de l'époque romaine: hypocauste, restes de fresques (belles sculptures, signes) datant des 1er et 3ème siècles. Egalement des restes d'un cimetière mérovingien.
L'ensemble de la ville est pittoresque.
Le Château d'Isenbourg datant du 19ème siècle, actuellement hôtel de luxe, a été construit sur l'emplacement d'un palais mérovingien, ensuite occupé par des évêques de Strasbourg; du château originel ne reste aujourd'hui qu'une cave du 14ème siècle.
Belles maisons rue Poincaré :
- une ancienne commanderie des chevaliers teutoniques de 1718 ; au 11 une belle façade avec oriel,
- au 17 un oriel de 1584,
- aux 18 et 22 des maisons du 16ème siècle,
- au 23 une maison avec oriel de 1620 avec sculpture, l'ancienne auberge de la demi lune avec son plafond Renaissance,
- au 65 un oriel d'angle à clocheton de 1671,
les maisons du Marché : le 2 et sa porte de 1616, les 5 et 9 pour leur façade, le 3 rue Ris, une maison avec Vierge de la fin 13ème siècle,
les maisons de la rue de la Poterne :
- au 1, la maison natale du maréchal Lefèbvre,
- au 2 et au 4, la façade, encore aux 2 et 4 d' anciens poêles des corporations des Bouchers (n°2) et de l'éléphant (n° 4),
- les maisons aux 24 et 25.
La halle aux blés de 1544.
La tour des Sorcières datant des 13ème au 15ème siècles.
L'ancien hôtel de ville de style Renaissance de 1581 et de 1720.
L'ancienne maison de I'Oeuvre Notre Dame de 1490.

Une porte de 1600 place de la République.
Des maisons rue de la Gendarmerie :
- au 2 les façades, l'oriel, la tourelle d'escalier, au 11 la façade avec bas relief figurant Saint Urbain de 1773; au 36,
- l'ancienne commanderie des chevaliers teutoniques (qui sera transférée rue Poincaré au 18ème siècle) avec oriel, des 16ème et 17ème siècles.
Deux maisons aux 8 et 10 rue Rettich.
Une autre au 2, de style Renaissance.
Maison au 7, rue du Maréchal Joffre de 1575.
La fontaine dite "Stockbrunnen" de 1534 avec sa statue de la Vierge.
Les vestiges de l'ancienne synagogue du 13ème siècle au 8, rue Ullin.
Des maisons de style gothique aux 11, 15 et 16, rue du Maréchal Lefèbvre.
Une autre maison au 1, rue des Bouchers datant de 1663, avec son oriel d'angle.
L'église Notre-Dame construite des 11ème au 19ème siècles : son choeur de vers 1300 avec consoles sculptées; son transept roman du 11ème siècle, et du début du 13ème siècle surmonté d'une tour de croisée , une nef gothique elles aussi du 13ème siècle, avec portails latéraux encore romans; la façade ouest de la fin du 13ème siècle au début du 14ème siècle, avec rose (sculptures hélas détruites sous la Révolution) restée inachevée; tour de façade vers 1870; restes du jubé vers 1300; custode du 15ème siècle dans le choeur, tabernacle du 15ème siècle, stalles du 16ème siècle; lanterne de la Vierge, vers 1500; fonts baptismaux de 1492; pierre tombale d'un chevalier, vers 1330.
L'église des Franciscains de la fin du 15ème siècle : stalles gothiques, pierres tombales, chaire extérieure en pierre.