Istoriniai šaltiniai nurodo, kad XVI a. dabartinių Vilniaus Radvilų rūmų vietoje, tada vadintoje Didžiosiomis Lukiškėmis, parko tipo sode už miesto gynybinės sienos, šalia Vilijos vartų, stovėjo Mikalojaus Radvilos Juodojo rūmai. XVII a. viduryje Lietuvos didysis etmonas, Vilniaus vaivada Jonušas Radvila (1612–1655) pagal architekto Jono Ulricho projektą pasistatydino rezidentinius rūmus. Renesansinių formų, manieristinio dekoro U raidės plano rūmus sudarė keturi dviaukščiai korpusai, kampuose sujungti penkiais trijų aukštų paviljonais.
Vidinis kiemas iš pietvakarių pusės buvo užtvertas neaukšta mūro tvora su dvejais vartais. Tokie rūmai pavaizduoti vokiečių medalininko Sebastiano Dadlerio (1586–1657) medalyje, nukaltame Jonušo Radvilos inauguracijos į Vilniaus vaivadas 1653 m. proga. XVII a. rūmai pavaizduoti Vytauto Gabriūno (1930–1992) akvarelėse.
XVII a. viduryje Radvilų rūmai buvo vieni gražiausių Vilniuje. Jais žmonės džiaugėsi neilgai. XVII a. vidurio ir XVIII a. pradžios karai bei gaisrai juos smarkiai nuniokojo. XIX a. pradžioje tuometinis rūmų savininkas Dominykas Radvila (1786–1813) apleistus, negyvenamus rūmus perleido Vilniaus labdarių draugijai, kuri čia tvarkėsi iki 1940 metų. Šeimininkaujant labdariams, sunykę rūmų korpusai buvo nugriauti ar iš pagrindų perstatyti.
1967 m. Radvilų rezidentiniuose rūmuose pradėti restauravimo darbai. Tuomet buvo likę tik 2 rūmų korpusai (šiaurinis ir rytinis) ir vienas – šiaurinis – paviljonas. 1984 m. buvo atstatytas ir antras – vakarinis – paviljonas.
1990 m. restauruotoje Radvilų rūmų dalyje įkurtas Lietuvos dailės muziejaus padalinys. Viena rūmų salė buvo paskirta Radviloms ir pavadinta Radvilų sale. Joje galima išsamiau susipažinti su garsia Radvilų gimine ir iškiliausiais jos atstovais.
Iš pradžių kitose Radvilų rūmų salėse veikė vaizduojamojo meno ekspozicijos, buvo rengiamos dailės parodos.
1994 m. restauruotoje Radvilų rūmų dalyje pradėta kurti užsienio šalių dailės galerija, kurioje iki pasaulio lietuvių meno parodos „Sugrįžusi išeivijos dailė“ (veikė 2000 m.) buvo eksponuojama XVI–XX a. pradžios italų, prancūzų, flamandų, olandų, ispanų, vokiečių, austrų, lenkų, rusų dailė.
1996 m. rūmuose jau buvo įrengta 12 ekspozicijoms skirtų salių. Tapybos ir grafikos kūriniai lankytojams buvo pateikiami kolekcijomis.
Vienoje iš rūmų salių buvo supažindinama su buvusiais šių rūmų šeimininkais bei visa didikų Radvilų gimine. Buvo eksponuojami Mykolo Kazimiero II Žuvelės Radvilos (1702–1762) užsakymu savamokslio Herškės Leibovičiaus (1700–1770) išraižyti 165 didikų Radvilų giminės portretai (vario raižiniai).
2002 m. muziejaus reikmėms pritaikius ilgą laiką „Žinijos“ draugijos reikalams naudotą konferencijų salę, išsiplėtė parodoms skirtas plotas, susidarė galimybė šiuose rūmuose organizuoti daugiau kultūrinių renginių.