A Székesfehérvártól 12 km-re fekvő Lovasberény számtalanszor cserélt gazdát a történelem során. Egyes kutatók szerint a Velencei-hegység mögött, a Vértes előterében húzódó Lovasberény és környéke már a kőkorszakban lakott volt. A terület első urai a Csák nemzetség tagjai voltak, a IX-X. század fordulóján. Forrásaink szerint a XVII. század második felében egy nagy méretű, egyemeletes, valószínűleg két szárnyból álló vagy négyzetes udvart körülfogó udvarház vagy kastély állt a községben.

A törökellenes harcokban szerzett érdemei elismeréseképp 1699-ben Siegbert Heister osztrák tábornok vehette birtokba a területet. Heister rendbe hozatta a kastélyt, sőt plébániatemplomot is emeltetett a faluban. 1719-ben Fleischmann Anzelm örökölte a birtokot Heistertől, ám 1730-ban a települést a kastéllyal egyetemben eladta gróf Cziráky József császári és királyi tanácsosnak.

Cziráky József fia, György megbízta Rieder János székesfehérvári építőmestert az épület kibővítésével. 1763-ban, a kastély újjáépítésével párhuzamosan díszkertet alakíttatott ki az épület körül.

1794-ben gróf Cziráky Antal Mózes az épület mellett Európa-szerte híressé vált, szobrokkal díszített angolkertet formált, melynek növénykülönlegességeit külföldről hozatta. A későbbiekben a kastély épületét is tovább bővítette: 1804 és 1810 között ő építtette fel a klasszicista stílusú főépületet.

Az épületegyüttes utolsó jelentős átalakításának megtervezésével Ybl Miklóst bízták meg; a kastély átépítésének tervrajzai fennmaradtak Ybl hagyatékában.

(Részlet a Bardi Terézia - Wisnovszkyné Hajdi Márta: Műemlékek Állami Gondnoksága, 2004. c. kiadványból)