Pagryžuvio dvaras minimas nuo XVI amžiaus. Romantinio stiliaus rūmai pastatyti 1859 m. pagal architekto Fulgeto Rimgailos projektą. Pagryžuvio dvaro rūmai turi ryškių klasicizmo ir baroko sąsajų: iš pradžių pastatyti vieno aukšto, o antras aukštas statytas jau XX a. 1878 m. Izidorius Romeris išpirko po sukilimo sekvestruotą Pagryžuvio dvarą. Nuo to laiko dvaras perėjo per 5 Romerių rankas.
Mirus Romeriams, dvarą turėjo paveldėti jų vaikai, bet po Pirmojo pasaulinio karo dvaras buvo nacionalizuotas ir atiduotas jėzuitams. Dvaras stipriai nukentėjo per karą atsidūręs ant fronto linijos.Tarpukario Lietuvos metais rūmuose veikė jėzuitų vienuolynas. 1951 m. dvarvietėje įsikūrė Respublikinė plaučių tuberkuliozės sanatorija.