A pásztói monostorról az első adat 1138-ból származik, amikor a dömösi adománylevél a monostor apátját és Ubad nevű halastavát említi.

A monostor U-alakban csatlakozott délről a templomhoz, melyet építészeti formái - elsősorban a szentély - alapján a német román kori építészethez kapcsolhatunk.

III. Béla király 1190-ben ciszterci apátságot alapított Pásztón. A ciszterciek átvették a korábbi bencés apátság épületeit és a 13. század első harmadában - a nagy tűzvész után - a helyreállításkor megnagyobbították a templom szentélyét és sokszögzáródásúvá alakították.

1526-ban a pásztói szerzetesek a mohácsi csata hírére elmenekültek. Az elhagyott épületet, királyi parancsra megerősítették, de az komoly stratégiai jelentőségre nem tett szert. A királyi katonaság az ellenállást meg sem kísérelte. 1551-ben a török sereg közeledtére a várat felgyújtották és elmenekültek. A tűzvésznek a város nagy része is áldozatul esett, többek között az oskolamester háza is.

A monostor épületei a 17. században elhagyatottan, romosan álltak. 1702-ben azonban a morvaországi Weelehradból visszatelepültek a ciszterek. I. Lipót császár adománylevelének birtokában 1715-1718 között felépítették a barokk kolostorépületet, mely jelenlegi arculatát az 1987 és 1989 közötti rekonstrukcióval nyerte el, amikor múzeummá alakították.