13 km į pietryčius nuo Marijampolės esantis Varnupių piliakalnis žinomas nuo seno. Padavimai pasakoja, kad jį žemes nešdami kepurėmis supylė senovės lietuviai, gindamiesi nuo kryžiuočių. Esą, aikštelės viduryje buvęs įrengtas rūsys, kuriame gyventojai paslėpė nuo kryžiuočių savo turtus. Šis padavimas buvo sudominęs lengvatikius lobių ieškotojus, kurie piliakalnio viduryje buvo iškasę didelę duobę. Karo metais piliakalnio viršūnėje buvo iškasti apkasai, o šlaituose – slėptuvės.
