Prieš keletą amžių būsimo Tuskulėnų dvaro teritorija buvo Vilniaus girininkijos valdos. Apie XVI a. vidurį Lietuvos didysis kunigaikštis Žygimantas Augustas šalia Vilniaus, Neries dešiniajame krante įkūrė specialų valstybinį dvarą, turėjusį aptarnauti Vilniaus pilį. Vėliau to dvaro sodybą valdė įvairios Lietuvos didikų šeimos, o XVIII a. viduryje centrinė dvaro dalis priklausė iš Lenkijos atvykusiems vienuoliams Laterano kanauninkams, kurių gyvenimo dvare laikotarpiu dvaro sodyba lotyniškai vadinta Tuskulanum, o lenkiškai − Tuskulany (greičiausiai iš liet. „Tuskulionys“).XVIII a. pab. Tuskulėnai tapo Rusijos imperijos iždo dvaru ir buvo valdomi įvairių rusų valdininkų. Manoma, kad iki šiol išlikusius dvaro rūmus apie 1825 m. pasistatydino Vilniaus generalgubernatorius Aleksandras Rimskis-Korsakovas.
Vėliau dvaras priklausė gydytojui ir visuomenės veikėjui Julijanui Titijui, kuris labiausiai išgarsėjo kaip literatūros almanacho „Athenaeum“ leidėjas. XIX a. 5-ajame dešimtmetyje dvaro rūmai tapo savotišku Vilniaus jaunimo kultūros centru, nes J. Titijus juos buvo pavertęs tikra užeiga, − tuo metu vad. Titijaus viloje nuolat lankydavosi kompozitorius Stanislovas Moniuška, rašytojas Juzefas Ignacijus Kraševskis ir kiti tuometinės Vilniaus bohemos atstovai.1869 m. dvaro sodyba priklausė atskirojo žandarų korpuso pulkininkui A. Losevui, − nuo tada Tuskulėnų dvaro pagrindinė valda, arba palivarkas dar vadinta Losiuvka.Prieš II pasaulinį karą dvaro rūmus ir parką valdė dvarininkai Valickiai, kurie po karo išvyko gyventi į Lenkiją, o 1944 m. visa 1,3 ha ploto Tuskulėnų dvaro sodyba (trys namai, daržinė, trys pagalbiniai ūkiniai pastatai, garažui pritaikytos arklidės ir kt.) atiteko LSSR NKVD, nuo tada visuomenei ji buvo žinoma kaip „Bartašiūno vila“ (LSSR NKVD perimtame dvare buvo įrengta tuometinio LSSR NKVD − MVD vadovo Juozo Bartašiūno vasarvietė).