Neabejojama, kad XVII a. 2-ojoje pusėje prie nedidelio Šešupės vingio, upės dešiniajame krante, jau egzistavo dvaras. Besikuriantiems kaimams valdyti prie Šešupės buvo įkurtas dvaras, pavadintas Kalvarija. Kalvarijos dvaras pirmą kartą paminėtas 1690 m. Trakų pavieto padūmės rejestre. Tada Kalvarijos dvarui priklausė 65 dūmai. Dvarą valdė Rečycos vaiskis ir Bresto teisėjas Kristupas Aleksandras Gordzijevskis. Iki šiol nėra aišku, kodėl netoli Triobių įsikūręs dvaras buvo pavadintas Kalvarija. Nuo 1700 m. jau vartojamas dvigubas pavadinimas Triobiai-Kalvarija, kas rodo, jog kaimas su dvaru jau sudarė vieną vienetą.Skirtinguose šaltiniuose minimi skirtingi galimi dvaro įkūrėjai: galbūt tai Sapiegos, galbūt – Pacai, nes visi jie yra valdę Užnemunės girias. Vėliau dvaras ėjo iš rankų į rankas, 1836 m. Rusijos caras jį padovanojo generolui Stegmanui. 1918 m. dvaras išparceliuotas.
