A mai Fő utca - Szt. János köz - Oskola utca által határolt telket 1688-ban, a város törökök alóli felszabadítása után vette birtokba a jezsuita rend. Ekkor - és még hosszú ideig - az Oskola utcai oldalon állt török minaretes templomot és a hozzá kapcsolódó épületet használták és lakták is.

Az új templomot és a hozzá csatlakozó rendházat két lépcsőben építették 1742 és 1756 között, valószínűleg a Martin Wittwer köréhez tartozó Paul Hatzinger tervei szerint. A szétoszlatott jezsuitáktól 1777-ben pálos atyák vették át a templomot, a rendházat és a csatlakozó gimnáziumot. 1786-ban azonban ők is a feloszlatás sorsára jutottak. A rendház épülete a katonaság birtokába került, s eleinte raktár, majd a napóleoni háborúk idején kórház céljára használták. 1813-ban a ciszter rend kapta meg a templomot, a rendházat és a gimnáziumot. A szerzetesrendek 1950-ben bekövetkezett feloszlatása után a rendházban középiskolás diákotthont nyitottak.

Az épület 1978-ban került a múzeum kezelésébe. Ma a megyei múzeumi igazgatóság központja. A római kőtár mellett itt tekinthető meg az új régészeti kiállítás; az épület ad otthont a központi restaurátor műhelynek, a fotólaboratóriumnak, az adattárnak. Itt van a múzeum középkori kőtára és az antropológiai gyűjtemény is, mely egyike a legnagyobbaknak hazánkban. Az épületen belül találhatók a muzeológusok kutatószobái és a központi előadótermünk is.

A látogatók figyelmét a kiállításokon kívül szeretnénk fölhívni a lépcsőház és az előadóterem gazdag stukkódíszére, amely feltételezhetően egy olasz művész keze munkáját dicséri. A kiállításból a második emeletre vezető lépcsőház freskói a lorettói litánia szövegét illusztrálják. Ezek a képek mostanáig ismeretlenek voltak, valószínűleg még a XIX. század elején levakolták őket. Feltételezhető, hogy alkotójuk Johann Magis és Anton Werle jezsuita fráter közül került ki; ez utóbbi a templom freskóit készítő Franz Sambach segítőtársa volt.