Az 1790-es években vásárolta meg az Apponyi-család a lengyeli uradalmat, ahol 1824-1829 között gróf Apponyi József építtette fel a családi rezidenciát.

A klasszicista stílusú kastély a kor szokása szerint magán hordozta az év jegyeit: a 4 évszakot 4 ajtó, a 12 hónapot 12 kémény, az 52 hetet 52 szoba és a 365 napot 365 ablak szimbolizálta. Már nem érdemes számolni az ablakokat, a későbbi átalakítások miatt ugyanis megváltoztak az eredeti építészeti elemek.

Az épületet 1863-ban a diplomata pályát befutó unokaöccse, Rudolf örökölte, aki egy fiatal szekszárdi építész, feltehetően Geiger Flórián, tervei alapján megnagyobbíttatta. A további, nagyszabású átalakítást már Rudolf fia, gróf Apponyi Sándor végeztette el 1878-ban történt házasságkötése után, aki e feladattal Viktor Rumpelmayer bécsi építészt bízta meg.

1905. január 19-én a kastély teljes tetőzete leégett. Padlásterében nagyon sok értékes bútorzat semmisült meg. A tetőszerkezet újraépítését Fellner Sándor budapesti építész végezte, más általa szükségesnek vélt változtatásokkal együtt. A kastély ekkor nyerte el mai külső formáját, eklektikus stílusjegyekkel gazdagodva.

A 81 évesen elhunyt Apponyi Sándor végrendeletében a kastélyt feleségére hagyta, aki az 1930-ban bekövetkezett haláláig a falak között élt.

A második világháború bombái elkerülték a kastélyt, a történelem viharai azonban nem. 1946 elején az épületet a völgységi németek internáló táborának rendezték be. Az ártatlan német lakosság kollektív kitelepítése után, 1946 őszén az épületben mezőgazdasági iskola nyitotta meg kapuit és azóta is az működik a kastély falai között. A kastély jelentősebb renováláson 1982-ben esett át, díszes tetőzetét 2004-ben újították fel.

A legjelentősebb fennmaradt Apponyi-épületet egy 22 hektáros park öleli, amely 1975 óta természetvédelmi terület.