Seniausias Panevėžio pastatas – tai 1614 m. Žemaitijos ir Upytės seniūno Jeronimo Valavičiaus pastatytas Upytės pavieto teismo archyvas. Norint užtikrinti dokumentų saugumą, archyvas statytas mūrinis, su tvirtomis durimis ir geležinėmis grotomis. Tai seniausias archyvo pastatas Lietuvoje. Vėlesniais amžiais jis keitė paskirtį, buvo naudojamas įvairiems ūkio reikalams. 1925 m. sausio 18 d. seniausiame miesto pastate atidaryta pirmoji Panevėžio muziejaus ekspozicija. Nuo 1972 m. jame veikė liaudies meno ekspozicija.2007 m. gegužės 19 d. atidaryta ekspozicija „Upytės bajorai“. Ji nukelia į Lietuvos Didžiosios Kunigaikštystės laikus, supažindina su bajorų luomo gyvenimo būdu, kultūra ir vertybėmis. Eksponuojami autentiški bajorų aplinkos daiktai, monetų lobis, dvarų nuotraukos, dvarininkų portretai, žymiausių krašto bajorų giminių herbai.Muziejuje įrengtas dvaro interjeras bei instaliacija legendinio bajoro Vladislovo Sicinskio-Čičinsko tema.
