Zamkaus dvaras nuo 1867 m. priklausė dvarininkui Puslovskiui, 1925 m. nacionalizuotas ir varžytinėse parduotas kunigui, visuomenininkui, astronomui Antanui Petraičiui (1861–1933). 48 hektarų dvarui priklausė gyvenamasis namas, tvartas, kumetynas, daržinė, sodas. 1930 m. testamentu kunigas A. Petraitis įgytą turtą perdavė saleziečių kongregacijai. 1934 m. į Lietuvą atvykę saleziečių vienuoliai Zamkaus dvare įsteigė Vytėnų saleziečių vienuolyną.
1934–1938 m. dvaro teritorijoje pastatyti nauji pastatai, buvę – pritaikyti vienuolyno reikmėms. Ūkiniame pastate buvo įrengta koplyčia. Zamkaus dvaras ribojasi su Panemunės pilimi (dar vadinama Gelgaudų, Vytėnų pilimi) ir susiformavimo kaip šios pilies ūkinis kiemas.2009 m. rugsėjo mėn. Kultūros paveldo departamento Nekilnojamojo kultūros paveldo vertinimo taryba dvarą įtraukė į Kultūros vertybių registrą, objektui suteiktas vietinio reikšmingumo lygmuo.