Skaudvilės apylinkės senovėje priklausė Karšuvos žemei. Netoli yra išlikęs Karšuvos kaimas ir piliakalnis. Miesto įkūrimo data laikoma 1760 m. Skaudvilės vietovardis yra pavardinės kilmės, kildinamas nuo tų vietų pono Skaudvilio. Miestas pradėjo plėstis nutiesus Rygos – Karaliaučiaus plentą 1847 m. Skaudvilė buvo prekybinis miestas, čia atvykdavo prekybininkai iš Karaliaučiaus, Rusijos imperijos, Lenkijos ir kitų Lietuvos vietovių.Pats miestas – urbanistikos paminklas ,radialinio plano miestas. Šio plano užuomazga susidarė XIX a. pradžioje, kada pagrindinės gatvės atkarpa tarp bažnyčios ir kelių sankryžos virto aikšte.
