A Cserehát lankáin, Borsod-Abaúj-Zemplén megyében, Magyarország északi részén fekszik a pár száz fős lakosú, apró falucska, Fáj, amely az Árpád-korban, királyi birtokként, Abaúj várához tartozott. A Fáy-család egyik ősének, Rugács vitéznek, és két fiának, Donnak és Barnabásnak 1243-ban maga IV. Béla király ajándékozta az Abaúj vármegyében fekvő Fájt, az 1241-es, muhi csatában tanúsított hősies magatartásukért. 1292-ben már így nevezték a családot, amely a birtokról kapta a Fáy nevet. Az évszázadok során a Fáy-család tagjai közül számos kiváló közjogi méltóság, főpap, katona, tudós került ki.

A Fáy-család fáji kastélyépületének meglétét mind a XVI. mind a XVII. századból okleveles adatok igazolják. Ennek a korábbi épületnek a helyén, illetve egyes elemeinek felhasználásával épült a ma látható kastélyépület barokk elődje, 1750 körül.

A XIX. században az épületet kétszer is átalakították: először az 1800-as évek elején, majd az 1840-es években, amikor is egy nagyobb, klasszicista átépítésre került sor. Ebben az időben, Fáy István gróf birtoklása idején volt a kastély fénykora. Ekkor készültek Marco Casagrande domborművei a díszteremben és a homlokzatokon. A zenekedvelő gróf "Musikai akadémiái" országszerte híressé tették a kastélyt.

A következő jelentősebb átalakítás az 1930-as évek végén történt.

(Részlet a Bardi Terézia - Wisnovszkyné Hajdi Márta: Műemlékek Állami Gondnoksága, 2004. c. kiadványból)