1526-ban a pásztói szerzetesek a mohácsi csata hírére elmenekültek. Az elhagyott épületet, királyi parancsra megerősítették, de az komoly stratégiai jelentőségre nem tett szert. A királyi katonaság az ellenállást meg sem kísérelte. 1551-ben a török sereg közeledtére a várat felgyújtották és elmenekültek. A tűzvésznek a város nagy része is áldozatul esett, többek között az oskolamester háza is.