Yra žinoma, kad jau 1805 metais prie Pakaruoklių pušies atsirado trys kryžiai. Iki praėjusio amžiaus vidurio dar stovėjo kryžius su 1812 metų data. Nedidelių kryželių buvo išpjaustyta artimiausių pušų kamienuose. 1982-aisiais Svilės Kryžių kalnelis buvo sulygintas su žemės paviršiumi, bet kryžiai čia tebestatomi ir šiandien. 1996 metais miškininkų rūpesčiu kryžkelėje pastatytas paminklinis akmuo.
