Plungės dvaras minimas nuo 1565 metų. Dvaro valdytojai nuolat keitėsi: nuo 1570 m. Žygimantui Augustui Plungės seniūniją užrašius Mykolui Aleknavičiui, dvaro valdytojais buvo Valavičiai, Karpiai, Krispinai-Kiršenšteinai. XVIII a. pabaigoje dvaro ansamblį valdė Vilniaus vyskupas Ignotas Masalskis. Po vyskupo nužudymo 1794 m. visus jo dvarus paveldėjo jo brolio duktė Elena Apolonija Masalskytė-de Linjė ir jos antrasis vyras grafas Vincentas Potockis. Galiausiai 1806 m. rūmus įsigijo grafas Platonas Zubovas, o 1873 m. jie buvo parduoti Mykolui Oginskiui.
Būtent Oginskiai 1879 m. pastatydino didingus, neorenesanso stiliaus (architektas Karlas Lorencas) rūmus. Jų vidus buvo įrengtas 1882-1885 m. Rūmus dekoravo Kazimiero Somerio stiuko dirbtuvių meistrai iš Varšuvos. Interjerą puošė lipdyba, tapybos pano, puošnios krosnys, kolekciniai baldai. Tai buvo Oginskių dvaro rezidenciniai rūmai. 1873–1902 m. dvare veikė muzikos mokykla. Joje mokėsi ir Mikalojus Konstantinas Čiurlionis. Dvare taip pat buvo įsteigtas žemaitukų žirgynas, 1899 m. surengta žemės ūkio ir amatų paroda.
Po M. Oginskio mirties 1902 m. rūmų kompleksą toliau prižiūrėjo jo žmona. 1905 m. ji įsteigė mokyklą dvaro tarnautojų vaikams, globojo senelių prieglaudą, ligoninį, išlaikė vaikų darželį. Tačiau po Pirmojo pasaulinio karo rūmuose nebebuvo gyvenama – juose 1922 m. įsikūrė “Saulės” gimnazija, o vėliau – Žemės ūkio mokykla. 1934 m. rūmai atiteko Lietuvos kariuomenės artilerijos pulkui. Po gaisro 1941 m. iki 1953 m. rūmai stovėjo nenaudojami. [1953]] m. buvo nuspręsta iš Rietavo į rūmus perkelti Žemės ūkio technikumą. 1961 m. buvo baigti rūmų atstatymo darbai ir juose įsikūrė Plungės vidurinė mokykla. 1965-1994 m. rūmuose veikė Plungės statybininkų mokykla.
1994 m. rūmuose įkurtas Žemaičių dailės muziejus, kuriame kaupiamos ir eksponuojamos muziejinės vertybės, atspindinčios Žemaitijos regiono kultūrinę, istorinę įvairovę, saugomos ir puoselėjamos Mykolo Oginskio dvaro tradicijos.
2012-2015 m. rūmai restauruoti. Šiuo metu dvaro ansamblį sudaro dešimt XIX a. pastatų ir statinių. Juos supa vienas didžiausių (58,3 ha) mišraus stiliaus parkų Lietuvoje.
Parkas
Plungė garsėja kunigaikščių Oginskių parku. Čia auga Perkūno ąžuolas. Parko plotas: 58,3 hektarai. Manoma, kad parkas įkurtas XVIII amžiaus viduryje. Panaudojant Babrungo upę bei šaltinius, parke buvo sukurta septynių tvenkinių sistema. Priešais rūmus buvo iškastas apvalios formos baseinas, jo viduryje sumontuota salelė, kurioje stovėjo skulptūra. Parke buvo pasodinta daug egzotinių medžių bei krūmų, liepų, uosių ir skroblų alėjų, poilsiui įrengta grybo ir kitokių formų pavėsinių, nemažai skulptūrų, vazų.
Parko centrinė dalis užima aukštą, lygią terasą, yra geometrinio plano. Kitą dalį užima peizažinis parkas, apimantis Babrungo upės vagą ir dvi lomas – rytinę ir vakarinę. Pastarojoje įrengti keturi tvenkiniai, o rytinėje – trys. Pagrindinė alėja prasideda nuo pietrytiniame pakraštyje esančių vartų ir baigiasi ties rūmais. Šalia rūmų yra erdvi terasa, nuo kurios atsiveria reginiai į parko gilumą ir į pačią upę. Šiuo metu parke vyrauja vietiniai medžiai ir krūmai: uosiai, klevai, mažalapės liepos ir kt.