Антоколь, розташований на схід від Вільнюса, колись був передмістям, мальовничо розкинувшись на лісистих пагорбах, помережаних струмками, на березі річки Неріс. Починаючи з 16 століття, тут, подалі від міської метушні, заможні шляхтичі прагнули заснувати свої заміські резиденції. Серед них був і Пьотр Нонгард (бл. 1550-1633), віленський будівничий і садівник. У наступні десятиліття маєток належав єпископу Єжи Тишкевичу (1596-1656), а згодом великому гетьману литовському і віленському воєводі Міхалу Казимиру Паку (1624-1682), який подарував маєток єзуїтам для організації новіціяту. Ті, хто пережив смерть засновника, продали маєток його наступнику Казимиру Яну Сапєзі (бл. 1642-1720).

Сапєга енергійно взявся за реконструкцію старої садиби і фактично створив величезну територію, що сягала аж до Раканчішека, на якій височів палац з парадним двором і городом, з'єднаний системою п'яти воріт з репрезентативними і господарськими дворами, костел Господа Ісуса (1694-1717) з функцією мавзолею з тринітарським монастирем, а також мисливський заповідник. Згодом було організовано господарський двір з ремісничими майстернями, броварнею та цегельнею, які не лише забезпечували організаційні потреби, але й були джерелом доходу для маєтку.

Цікаво, що Сапєга також придбав групу митців на честь Міхала Казимира Пака, фундатора сусіднього костелу святих Петра і Павла. Серед них був талановитий архітектор і військовий інженер Джованні Баттіста Фредіані, який спроектував палац. Під час роботи над резиденцією, яка б відповідала амбіціям нового власника, частину старих стін було знесено, а частину включено до нового палацу. Це визначило розташування будівлі, двоповерхової з мезоніном, на осі схід-захід. Збільшивши його площу за рахунок двоповерхових аркадних лоджій у бічних надбудовах, з'єднаних новими баштовими прибудовами, було вирішено організувати фасад із західного боку, присвятивши територію, що лежить нижче, під сад. Внаслідок занесення старих стін резиденція розташувалася похило до саду, який був розбитий перпендикулярно до урочища Динебург (сучасна вул. Л. Сапієгоса), спланувавши вхід до палацового двору через Вільнюську браму, тобто з боку міста. Це, своєю чергою, зумовило розширення фасаду, який став асиметричним щодо тильного підвищення, приховуючи додаткове приміщення у фронтальній частині. Однак це не лише процедура, пов'язана з розширенням палацу, але передусім оптична корекція, оскільки це робить його асиметрію по відношенню до саду непомітною при бічному вході до резиденції.

Фасад палацу Казимира Яна Сапєги спочатку мав трикутний фронтон, замінений на сегментний перед 1759 роком (реконструйований). Зовнішні сходи ведуть до склепінчастого вестибюлю, з'єднаного з парадними широкими сходами, які ведуть до представницької та житлової частини, розташованої на першому поверсі. Головна, особливо примітна, двоповерхова зала називалася "великою застільною". У 1795 році вона описувалася як "квадратна зала" і мала площу 150 м2. Її вікна виходили в сад, а інтер'єр освітлювали також вікна лоджії (площею 98-100 м2). Вона також сполучалася з кімнатами в прибудовах передньої вежі (33-38 м2) і двома "скляними" кімнатами (86 м2), розташованими вздовж сходів. Одна з них у 1795 р. називалася буфетною, а інша була місцем розташування сходів, що вели на верхні поверхи. Ця кімната також з'єднувалася із заднім трактом, де знаходилася "велика кімната" (у 1795 р. - "їдальня", 70 м2), з'єднана зі спальнями господаря і господині будинку в задніх баштових прибудовах.

Схема внутрішнього планування - парадна зала на першому поверсі, житлові квартири по кутах - типова для другої половини 17 століття і відома з багатьох прикладів у республіці. Слід зазначити, що палац був багато мебльований. У кабінеті в південно-західній прибудові, тобто спереду, стіни були облицьовані дорогою і на той час шалено модною голландською плиткою ("pokoj pokoszczany") із зображеннями архітектури та гербів. Цим же матеріалом були облицьовані плити представницького поверху, які прикрашали портрети. Стіни також були прикрашені дорогими тканинами - гобеленами, в тому числі з гербами. Цікаво, що палац був обладнаний системою водопостачання, яка простягалася від підвалів до першого поверху. Труби, можливо, вели до приміщень, які були пов'язані з функцією буфету, тобто зберігання посуду і місця, де розігрівали їжу і розкладали її на декоративні тарілки.

На жаль, збереглося дуже мало оригінальної ліпнини та розписів, які були виконані першокласними художниками, що раніше працювали в колі паків - Перті та Паллоні. На фасаді, однак, і сьогодні чітко видно панопліти - військові мотиви, а також погруддя, виконані в дусі римської античності. Вони мали нагадувати про "античний" родовід Сапєг.

Палац Антоколя в першу чергу розглядався як літня резиденція. Люди проводили там час приблизно з травня по жовтень, віддаючись дозвіллю і світському життю, влаштовуючи обіди, вечері і, перш за все, бали. Це була також втеча від міста, яке страждало від типових проблем гігієни та метушні 17-18 століть. Характер резиденції змінився, коли її придбав магістрат у 1808 році. У 1812 році в палаці та монастирі тринітаріїв розмістилася французька армія, яка організувала в приміщеннях лазарет. Після Першої світової війни в будівлях продовжував розташовуватися шпиталь, а після Другої світової війни весь резиденційний і костельний комплекс перейшов до радянської армії. Повернутий місту і Вільнюській єпархії, він проходить реставраційні та консерваційні роботи.