Radvány a középkorban többnyire a füzéri vár uradalmához tartozott, nevét 1262-ben említette első ízben oklevél. A 16. század második felében Báthory István volt a birtokosa, aki 1585-ben egyik familiárisának, Réthey Péternek adta a falut. Feltehetőleg ő építtette itt az első kúriát, a mai kastély ősét, késő reneszánsz stílusban. Ezt követően többször változott a település tulajdonosa, a kastélyról 1679-ben egy összeírás is készült.

1686-ban I. Lipót király nagykárolyi báró Károlyi Lászlónak adományozta Füzér várát és uradalmát, kárpótlásként a török háborúkban elszenvedett veszteségeiért. Ekkor kezdődött meg a radványi kastély Károlyiak általi birtoklásának – egy rövid megszakítással – több mint két és fél évszázados története.

Károlyi Ede volt az első, aki állandó lakhelyének választotta Radványt, a kastélyt több periódusban építtette újjá, 1846 tájától egészen 1877-ig.

A koncepciót amatőr tervezőként maga a gróf határozta meg. Építésznek Ybl Miklóst, hazánk egyik legkiválóbb historizáló stílusban alkotó mesterét kérte fel, akinek itt viszonylag korlátozott lehetett a szerepe. Így alakult ki végül az új, reprezentatív, U alaprajzú kastély az észak felől hozzá csatlakozó két gazdasági szárnnyal.

A rezidencia nyolcszögletű tornya például biztosan Károlyi Ede ötlete nyomán született. Ybl Ervin feljegyzése szerint később a család tagjai ezért állandóan gúnyolták Károlyi Edét, magas, keskeny, meglehetősen aránytalan volta miatt piszkavasnak tituláltak.

A rezidencia építésével párhuzamosan a kertet tájképi stílusú parkká alakították, amely a század végére már 170 katasztrális holdat tett ki.

1897 és 1902 között gróf Károlyi László Albert Pio tervei szerint újjáépíttette a kastély déli lakószárnyát, ugyanakkor az építész még 1907-ben is készített terveket, a munkálatok minden bizonnyal elhúzódtak.

Az utód Gróf Károlyi István birtokossága idején, 1936–1938-ban pedig Lehoczky György tervei alapján alakították luxus kastélyszállóvá az épületet, és ő tervezte a kastélyparkban álló pavilonokat is, amelyekben szintén szobák kaptak helyet. Az 1949-es államosítást követően a füzérradványi kastélyban kórházat rendeztek be, majd később szanatórium volt falai között.

2018 és 2021 között a Nemzeti Kastélyprogram és Nemzeti Várprogram keretében megtörtént a kastély komplex műemléki felújítása és turisztikai vonzerővé fejlesztése.