A 11. században emelt templomot a következő század folyamán háromhajós román stílusú templommá alakították át. Az első 20×20 méter, négyzet alaprajzú templomból igen kevés maradt fenn. A kutatások feltárták, hogy ez a templom öthajós, centrális épület volt, középen toronnyal. A 12-13. század fordulóján átalakított templomot nevezik második templomnak, a korábbi öthajós templom ekkor háromhajós, az eredetileg centrális alaprajzú épület kereszt alakú lett. A későbbi századok során többször átépítették, így a 15. században, amikor a templom déli homlokzatán gótikus ablakokat nyitottak. A mai épületről az 1700-as évekből van írásos emlékünk. 1743-ban jelentős átépítést hajtottak végre a templomon, melyek költségét Grassalkovich Antal fedezte. Ekkor távolították el a templom közepének pillérsorát, ami később sok gondot okozott. A statikai hibák és a mennyezet megrepedezése miatt 1785-ben ismét rekonstrukciót hajtottak végre az épületen. 1793-ban vihar tett kárt az épületben, ezúttal a tetőzet szenvedett súlyos sérülést.
Azóta csodálhatja újra mindenki a Rajna partján álló épületet.
A 15. században a templomot ismét átépítik, ezúttal gótikus stílusban. 1683-ban Draskovich György győri püspök a város tiltakozása ellenére és királyi jóváhagyásával a domonkos szerzeteseknek. A szerzetesek felépítették itt kolostorukat és megkezdték a templom nagyszabású átépítését. A háromhajósra bővített, félig kész épület azonban összedőlt. Az újabb építkezés terheit gróf Erdődy III. György felesége, gróf Batthyány Erzsébet vállalta, miként erről a bejárat feletti felirat tanúskodik. A tervezéssel Carlo de Torre-t bízták meg. A barokk templomot 1668 - 1672 között építették. A kialakított kriptában először gróf Batthyány Erzsébet kapott végső nyugodalmat. Az építkezést követően a templom titulusa Szentháromságra változott, később azonban visszanyerte eredeti címét. 1788-ban II. József intézkedése nyomán a szombathelyi kolostort is feloszlatta, a szerzetesek a IV. Béla által alapított vasvári Szent Domonkos rendi szerzetházba költöztek. Szombathelyre 3 évvel később - 1791-ben - térhettek vissza.