Karaimų muziejaus įkūrimo Trakuose iniciatoriumi buvo pasaulinio garso orientalistas, karaimų vyriausiasis dvasininkas, hachanas Hadži Seraja Chan Šapšalas (1873-1961) pats surinkęs didžiulę ir įspūdingą buities, meno, ginklų bei dokumentų kolekciją, kuri sudarė būsimo muziejaus ekspozicijos pagrindą. Muziejaus pastato statybą, vadovaujamą architekto J. Borovskio ir pradėtą 1938 metais, finansavo Lenkijos vyriausybė. Trakų istorijos muziejaus Karaimų etnografinė paroda šiose patalpose veikia ir iki šiol.
