Legendoje pasakojama, kad prie Luponių ir Girnikų kalnų kadaise gyvenę du milžinai. Kartą jie smarkiai susipyko ir pradėjo vienas į kitą akmenimis mėtyti. Todėl šiose apylikėse yra tiek daug akmenų.
Iš tikrųjų, Arvydiškės akmenis iš dabartinės Švedijos, Suomijos bei Karelijos teritorijos ir Baltijos jūros salų į mūsų kraštą atnešė žemyniniai ledynai. Atplėšti nuo milžiniškų masyvų kristalinių uolienų gabalai pradžioje buvo aštriabriauniai, bet keliaudami kartu su ledynais gerokai aptrupėjo, tapo aptakesnių formų. Daugelis akmenų nuo dažno vartaliojimosi suapvalėjo, todėl jie vadinami rieduliais.
Pilkuosius laukų akmenis žemdirbiai praminė velnio sėklomis, mat jie trukdė įdirbti laukus, gadino padargus. Smulkesnius akmenis žmonės krovė į vežimus ir vežė į arimų pakraščius, naudojo statybai, stambesniųjų nepajėgė pakelti ir paliko. Taip išliko ir Arvydiškės akmenys Bulėnų miško pakraštyje. Čia guli 15 įvairaus dydžio stambių riedulių. Kai kurių aukštis siekia du metrus, plotis – beveik tris metrus, o ilgis – net keturis metrus.
Vietos gyventojai pamena, kad Arvydiškės ir gretimo Girnikų kaimo žemėse seniau būta ir daugybės mažesnių akmenų, bet apie 1975-uosius metus juos traktoriais išstumdė melioratoriai. Vėliau daug akmenų buvo išvežta, gražiausius pasiėmė paminklų dirbėjai.