Poteronių kaimo, įsikūrusio netoli Alytaus – Vilniaus kelio, gyventojai Poteronių piliakalnį Milžinų kalnu vadina. Legenda pasakoja, kad ant piliakalnio stovėjo pilis, kurios kunigaikštis perėjęs į priešų pusę. Jo sūnus sušaukė burtininkus ir prakeikė savo tėvą. Duktė, pamačiusi grįžtantį atgailaujantį tėvą, parodė jį savo broliui, kuris pykdamas, kad nepavyko užkeikti tėvo, nužudė burtininkus ir krivius. Dievai pilį su sūnumi nugramzdino į kalną, o tėvas išėjo kovoti su priešais ir žuvo, mergaitė ilgai meldėsi. Nuo jos maldų (poterių) ir ši vieta gavo Poteronių vardą. Kalbama kad vidurnaktį piliakalnio viršūnėje pasirodydavo baltais drabužiais vilkinti vaidilutė, kūrendavo ugnį, verkdavo ir aimanuodavo. Gaidžiams pragydus – pranykdavo. Prieš tai piliakalnio viršuje buvo skylė, į kurią įmetus akmenį, šis krisdavo ilgai ir atsimušdavo į kažkokį skambantį daiktą. Piemenys, ganydami gyvulius, skylę užkišo eglių šakomis ir užlygino. Dar pasakojama, kad seniau ant piliakalnio buvo aukuras, prie kurio žmonės rinkdavosi melstis ir nešdavo gyvulius aukoti.
