A Mátra Múzeumnak helyet adó kastély a történeti dokumentumokból ismert udvarház helyén 1770-ben jön létre. Építtetője Orczy Lőrinc. A kastély mai formáját az 1824-26-os átépítés során nyerte el. Az átépítés a kor divatirányzatának megfelelően klasszicista stílusban történt.

A korábbi U-alakú épületet ekkor zárják be észak felől, s ezzel kialakul a napjainkig fennmaradt zárt belső udvar. Az épület külső homlokzati megjelenésével ellentétben a déli és nyugati szárny belső kialakítása során megőrizték a barokk tereket.

Az elmúlt ötven év során az épület múzeumi funkciója fokozatosan alakult ki. Az egyre bővülő múzeumi tevékenység, és a kastély, valamint kertje műszaki állapota tette szükségessé a teljes felújítást.

Erre, hosszas előkészítő munka után 2002-ben nyílt alkalom, Gyöngyös Város Önkormányzata, és az épület tulajdonosa, valamint a múzeum fenntartója, a Heves Megyei Önkormányzat közös programjának eredményeként. Megkezdődött a kastély és kert revitalizációjának és felújításának a tervezése, az épület és kastélykert műemléki feltárása. Az előkészítő munka eredményessége a sikeres ROP pályázatban nyilvánult meg, mely megteremtette az alapját a kastély és részben a park felújításának, korszerűsítésének.

A műemléki és történeti kutatások lehetőséget adtak arra, hogy a kastély egyes részein a korábbi barokk periódus építészeti emlékei is visszaállításra kerüljenek. Így lehetett kialakítani többek között a múzeum központi rendezvényterét.

A kert revitalizációja során a leglátványosabbak a kerítések és gloriettek felújításai.

Az öt egységből álló állandó kiállítások forgatókönyveit a múzeum munkatársai (Báryné dr. Gál Edit és dr. Pálos Lászlóné), valamint külső szakemberek készítették (dr. Hably Lilla MTM, dr. Szakáll Sándor ME, dr. Dávid Árpád EKF), a kiállítás technikai tervezői Bánkuti Albin és Láng-Miticzky Gábor.


A felújított épületben 2007. május 15-én Hiller István miniszter nyitotta meg az új kiállításokat.