Dabartinės Žagarės vietoje iki XIX a. pab. buvo du savarankiški miesteliai: Senoji Žagarė ir Naujoji Žagarė, natūraliai perskirti Švėtės upės. Vertas dėmesio Senosios Žagarės senamiestis, Turgaus aikštė, užburiantys sustojusio laiko dvasia. Niekas neatsispiria Žagarės istorinių gatvelių skleidžiamai aurai: žavi išlikęs XVI a. gatvių tinklas, urbanistinė struktūra, akmeniniai gatvių grindiniai, XIX pab.-XX pr. pastatai, raudonų plytų, daugiausia žydų prekybininkų statyti, namai, išlikę keletas XVII-XVIII a. molio ir vietinio dolomito statinių.
