XVI a. pab. – XVII a. pr. Panemunio dvaras buvo išsidėstęs kairiajame Nemunėlio krante. 1598 m. Panemunis atiteko kunigaikščiui Jurgiui Masalskiui ir jo žmonai Onai Masalskienei, kuri, 1605 m. likusi našle, ištekėjo už Videniškių kunigaikščio Martyno- Marcelijaus Giedraičio. 1635 m. Giedraičiai dvarą pardavė Oziemblovskiams, kurie dvaro sodybą įkūrė dešiniajame Nemunėlio krante.
1773 m. dvaras atiteko Marikoniams. 1840 m. savininkais tapo Komarai. Juozas Komaras (?-1898) 1850 m. pastatė ar perstatė rūmus. Mirus J. Komarui dvaras liko našlės bei dukterų Sofijos Komaraitės Gurskienės ir Elžbietos Komaraitės Krasickienės nuosavybe. Elžbieta Komaraitė Krasickienė su savo vyru Vitoldu Krasicku dvare išgyveno iki 1924 m. Po to dvarą nusipirko Osvaldas Laučiškis. Po 1945 m. rūmuose įkurta mokykla. 1993 m. dvaro pastatai grąžinti Osvaldo Laučiškio palikuonims.
Iki šių dienų išlikusi dvaro kalvė (1851 m.), kumetynas (XIX a. vidurys), arklidė ir ratinė (1854 m.). Pagrindiniai dvaro rūmai sumūryti iš plytų ir tinkuotų akmenų. Juos sudaro 3 lygiagretūs korpusai.Pats dvaras garsėjo savo Liudviko XV stiliaus salonais bei neogotiškais kabinetais, biblioteka. Rūmų salonuose ir kabinetuose tvyrojo prabanga. Juose buvo gausu japoniško porceliano indų, ypač vertingų graviruoto bei raižyto krištolo, sidabro ir bronzos dirbinių, sumedžiotų žvėrių galvų iškamšų.