Radvány a középkorban többnyire a füzéri vár uradalmához tartozott, nevét 1262-ben említette első ízben oklevél. A 16. század második felében Báthory István volt a birtokosa, aki 1585-ben egyik familiárisának, Réthey Péternek adta a falut. Feltehetőleg ő építtette itt az első kúriát, a mai kastély ősét, késő reneszánsz stílusban. Ezt követően többször változott a település tulajdonosa, a kastélyról 1679-ben egy összeírás is készült.

1686-ban I. Lipót király nagykárolyi báró Károlyi Lászlónak adományozta Füzér várát és uradalmát, kárpótlásként a török háborúkban elszenvedett veszteségeiért. Ekkor kezdődött meg a radványi kastély Károlyiak általi birtoklásának – egy rövid megszakítással – több mint két és fél évszázados története. Kaplony nemzetség.

A Réthey-féle késő reneszánsz kastélyt később több periódusban átépítették és bővítették különböző zálogbirtokosok, ugyanakkor az így kialakult L alakú épületnek szinte valamennyi részletét lebontották gróf Károlyi Ede birtoklása idején.

Ő volt az első Károlyi, aki állandó lakhelyének választotta Radványt, a kastélyt több periódusban építtette újjá, 1846 tájától egészen 1877-ig.

A koncepciót amatőr tervezőként maga a gróf határozta meg. Építésznek Ybl Miklóst, hazánk egyik legkiválóbb historizáló stílusban alkotó mesterét kérte fel, akinek itt viszonylag korlátozott lehetett a szerepe. Így alakult ki végül az új, reprezentatív, U alaprajzú kastély az észak felől hozzá csatlakozó két gazdasági szárnnyal.

A rezidencia nyolcszögletű tornya például biztosan Károlyi Ede ötlete nyomán született. Ybl Ervin feljegyzése szerint később a család tagjai ezért állandóan gúnyolták Károlyi Edét, magas, keskeny, meglehetősen aránytalan volta miatt piszkavasnak tituláltak.

A rezidencia építésével párhuzamosan a kertet tájképi stílusú parkká alakították, amely a század végére már 170 katasztrális holdat tett ki.

1897 és 1902 között gróf Károlyi László Albert Pio tervei szerint újjáépíttette a kastély déli lakószárnyát, ugyanakkor az építész még 1907-ben is készített terveket, a munkálatok minden bizonnyal elhúzódtak.

Európai viszonylatban is figyelemreméltó különlegessége a kastélynak a másodlagosan beépített itáliai épületszerkezeti elemek nagy száma. Gróf Károlyi László és felesége, Apponyi Franciska grófnő 1898 és 1913 között ugyanis komplett reneszánsz kandallókat, ajtókereteket, faragványokat vásárolt elsősorban Firenzében – itt főként Stefano Bardini műkereskedőtől – és Párizsban, amelyek beépítésre kerültek a füzérradványi kastélyba. Reneszánsz és késő reneszánsz bútorokat, műtárgyakat is vettek, amelyek révén valóságos múzeumszerű enteriőrök jöttek létre a kastélyban.

Gróf Károlyi István birtokossága idején, 1936–1938-ban pedig Lehoczky György tervei alapján alakították luxus kastélyszállóvá az épületet, és ő tervezte a kastélyparkban álló pavilonokat is, amelyekben szintén szobák kaptak helyet.

Ekkor az emeleti termeket megosztva lakosztályokat alakítottak ki, valamint a parkban tenisz-, sí- és golfpályák, valamint strand- és apartmanházak épültek. A lenyűgöző parkkal körülvett luxusszálló 1938-ban nyitotta meg kapuit a látogatók előtt, és egy megszakítással 1948-ig működött a család üzemeltetésében. Az 1949-es államosítást követően a füzérradványi kastélyban kórházat rendeztek be, majd később szanatórium volt falai között.

2018 és 2021 között a Nemzeti Kastélyprogram és Nemzeti Várprogram keretében, a NÖF Nemzeti Örökségvédelmi Fejlesztési Nonprofit Kft. beruházásában megtörtént a kastély komplex műemléki felújítása és turisztikai vonzerővé fejlesztése.