A kastélyt 1844 és 1851 között építtette Károlyi György gróf, aki pesti palotájának befejezése után itt teremtette meg vidéki rezidenciáját. A klasszicista stílusú épületet unokája, Károlyi József gróf az 1910-es évek elején részlegesen átépítette, ekkor nyerte el jelenlegi kialakítását. 1919-ben a kastély hat szobájában betegsegélyező helyet rendeztek be. A második világháború idején német vezérkari szálláshely, majd hadikórház és laktanya.