Egy nemesi kúria alapjaira emelték a fáji kastély barokk elődjét 1750 körül, melyet a 19. században klasszicista stílusban építettek át.

A Cserehát lankáin, Borsod-Abaúj-Zemplén megyében, Magyarország északi részén fekszik a pár száz fős lakosú, apró falucska, Fáj, amely az Árpád-korban, királyi birtokként, Abaúj várához tartozott. A Fáy-család egyik ősének, Rugács vitéznek, és két fiának, Donnak és Barnabásnak 1243-ban maga IV. Béla király ajándékozta az Abaúj vármegyében fekvő Fájt, az 1241-es, muhi csatában tanúsított hősies magatartásukért. 1292-ben már így nevezték a családot, amely a birtokról kapta a Fáy nevet.

Az évszázadok során a Fáy-család tagjai közül számos kiváló közjogi méltóság, főpap, katona, tudós került ki.
A Fáy-család fáji kastélyépületének meglétét mind a XVI., mind a XVII. századból okleveles adatok igazolják. Ennek a korábbi épületnek a helyén, illetve egyes elemeinek felhasználásával épült a ma látható kastélyépület barokk elődje, 1750 körül.

A XIX. században az épületet kétszer is átalakították: először az 1800-as évek elején, majd az 1840-es években, amikor is egy nagyobb, klasszicista átépítésre került sor. Ebben az időben, Fáy István gróf birtoklása idején volt a kastély fénykora. Ekkor készültek Marco Casagrande domborművei a díszteremben és a homlokzatokon. A zenekedvelő gróf „Musikai akadémiái” országszerte híressé tették a kastélyt. A következő jelentősebb átalakítás az 1930-as évek végén történt.