Палац був побудований з ініціативи Домініка Міхала Слушка (бл. 1655-1713), останнього з роду, відомого на всю Литву авантюриста і палкого члена фракції Сапєг (до поразки під Олькениками), який у 1686 р. одружився з Констанцією з Подберезьких (пом. 1722 р.).

Резиденція була побудована в Антоколі, безпосередньо на березі річки Неріс, організувавши геометричний сад із зеленими і водними зонами із західного боку, тобто з боку міста, і внутрішній двір з господарськими будівлями зі східного боку. Таким чином, резиденція була єдиною у Вільнюсі, що реалізувала схему entre cour et jardin (між двором і садом), яка на той час вже була добре відома в республіці.

Як і резиденція Сапєг в Антоколі, палац Слушків не був побудований на сирому корені. Раніше тут знаходилися маєтки Кішок, подаровані їм Стефаном Баторієм, а в районі, відомому тоді як Нове місто, була організована обнесена муром резиденція. 17 листопада 1645 року завдяки королю Владиславу IV вони перейшли до рук його фаворита Фелікса Яна Паца (після 1615-1702). Саме Пац продав ці маєтки Слушкам.

Будівництвом палацу Слущанських, ймовірно, керував Джованні Баттіста Фредіані, який побудував палац Сапєги і тринітарський храм в Антоколі, а перед тим керував будівництвом костелу св. Петра і Павла, плануючи його фасад. Він, безумовно, був також автором проекту, який являє собою трансформовану схему сусідньої резиденції Сапєг, засновану на так званому варіанті Poggio Reale, модному в тогочасній Європі. Безсумнівно, як і у випадку з Сапєгами, він включив до нової споруди старі стіни Кіщан-Пак.

Підвальний палац Слушків був зведений на осі схід-захід як двоповерхова (тепер чотириповерхова) будівля на прямокутному плані з чотирма баштовими прибудовами, вища за основний корпус на антресолі, поруч з якими були влаштовані допоміжні сходові клітки. Західне підвищення, тобто з боку міста, збагачене двоповерховими аркадно-колонними лоджіями (замурованими після 1833 р.) з видом на сад і річку, а також на замок з собором і місто, що розкинулося на обох берегах Неріс. Фасади обрамлені пілястрами у великому ордері, з простими валами та іонічними головками з фестонами, що підтримують балку, деякі з розписаними деталями.

На першому поверсі розташовувалася головна представницька зала. Йому передував вестибюль з буфетом, до якого з першого поверху вели парадні сходи. У баштових прибудовах містилися спальні та кабінети господаря і господині будинку.

На фасаді, який виходить на Антокольські пагорби, над входом спочатку була табличка (втрачена) з написом латинською мовою, який у перекладі на польську звучав так "Я прибрав гори, я приборкав води Неріс, я перевершив пагорби, не злітаючи, переможець стихій, я став домом відпочинку, антокольським величним супутником героїв. Тут під Луною (Місяцем) [я] друг спокою, нехай богиня миру покладе свою тогу, нехай покладе свої обладунки для спокою життя під гербом Ostoja Bellona". Вище, на фронтоні з ліпниною, виконаною невідомою майстернею, на тлі пано зображені знаки власників палацу: Остоя Слушка та Ґоздава Подберезський. Їх обіймають фігури Хроноса та уособлення герба Остоя, що є контамінацією Беллони та Луни. Над ними - фігура Фортуни. Зміст панно з написом є девізом палацу і прикрасою фронтону. Він нагадує про гораціанські ідеали, але також показує Слушка - віленського воєводу і генерального полковника Великого князівства Литовського, який брав участь в угорських і молдавських походах Івана ІІІ - як людину, що дотримувалася принципу pax et bellum. Це була одна з головних політичних категорій, яка надзвичайно часто з'являлася в літературі та мистецтві 17 століття, поєднуючи в собі дві, здавалося б, взаємовиключні крайнощі. Це був ідеал, який пропагував служіння батьківщині в мирний і воєнний час, саме на це вказує напис з палацу Слушек. Важливо, що ідейну піднесеність резиденції, яку Слушка збудував, "борючись" зі стихіями води і землі, підсилювала не лише сама схема палацу з вежами, що відсилають до топосу лицарства, але й навколишній ландшафт - річка і вид на Вільнюс, а зміст доповнювала каплиця-еремонімейстер, що стояла в саду.

Важливо підкреслити незвичайне розташування резиденції безпосередньо на березі річки з садом, розбитим паралельно її течії. Він був скомпонований як геометричний, осьовий сад, але через вузьку і витягнуту ділянку - з однією алеєю. За житловою частиною, з боку міста, розташовувався водний партер з каналом, що виходив до річки, де неподалік знаходилася вищезгадана каплиця. Завдяки такому плануванню Неріс став складовою планування саду, що протікає паралельно розмежованій алеї та штучному партеру, що є унікальним для республіки.

Після смерті Домініка Міхала Слушка резиденція переходила з рук в руки, дедалі більше руйнуючись. Під час повстання Костюшка в палаці розміщувався штаб, відливалися кулі і збиралася зброя. Після поразки визвольного повстання резиденція перейшла до російського уряду. У 1831 році будівлю було включено до складу організованої у Вільнюсі фортеці. У колишній магнатській резиденції розмістили лікарню, потім казарми, а в 1869 році палац перетворили на в'язницю. У 1957-1959 роках були проведені реставраційні роботи, щоб пристосувати будівлю для освітніх цілей. Сьогодні в палаці знаходиться Литовський музичний і театральний академічний театр.