Pałac powstał z inicjatywy Dominika Michała Słuszki (ok. 1655– 1713), wojewody połockiego, ostatniego z rodu, słynnego na całą Litwę awanturnika, zagorzałego (do klęski pod Olkienikami) członka fakcji sapieżyńskiej, który w 1686 r. poślubił Konstancję z Podbereskich (zm. 1722).  

Siedzibę wzniesiono na Antokolu, bezpośrednio nad brzegiem Wilii, organizując od zachodniej strony, a więc od miasta, geometryczny ogród z parterami zielonymi i wodnymi, a od wschodu dziedziniec wraz z zabudową gospodarczą. Rezydencja jako jedyna Wilnie zrealizowała więc schemat entre cour et jardin (pomiędzy dziedzińcem a ogrodem), który w tym czasie był już na terenie Rzeczypospolitej ugruntowany. 

Podobnie jak rezydencja Sapiehów na Antokolu, pałac Słuszków nie powstał na surowym korzeniu. Wcześniej w tym miejscu znajdowały się dobra Kiszków nadane im przez Stefana Batorego, z murowaną siedzibą zorganizowaną na terenie określanym wówczas jako Nowe Miasto. Za sprawą Władysława IV przeszły one 17 listopada 1645 r. w ręce jego faworyta Feliksa Jana Paca (po 1615–1702). To Pacowie dobra te odsprzedali Słuszce.  

Budowę pałacu Słuszczańskiego prowadził, jak się wydaje, Giovanni Battista Frediani, który na Antokolu wzniósł pałac Sapiehów i świątynię Trynitarzy, a wcześniej nadzorował budowę kościoła pw. św. św. Piotra i Pawła, planując jego fasadę. Z pewnością był on także autorem projektu, który jest przekształconym schematem pobliskiej rezydencji Sapiehów opartej o tzw. wariant Poggio Reale, modny w całej ówczesnej Europie. Zapewne tak samo jak u Sapiehów w nową strukturę wciągał stare Kiszczańsko-Pacowskie mury.  

Podpiwniczony pałac Słuszków wzniesiono na osi zbliżonej do kierunku wschód-zachód jako budowlę dwukondygnacyjną (obecnie czterokondygnacyjna) na planie prostokąta z czterema wieżowymi aneksami, wyższymi od korpusu o mezzanino, obok których zorganizowano pomocnicze klatki schodowe. Elewacja zachodnia, a więc od strony miasta, została wzbogacona o dwukondygnacyjne arkadowo-filarowe loggie (zamurowane po 1833) z widokiem na ogród i rzekę, ale też na zamek z katedrą i miasto rozłożone na obu brzegach Wilii. Elewacje ujęto pilastrami w wielkim porządku, o gładkich trzonach i jońskich głowicach z festonami, podtrzymujących belkowanie, częściowo z malowanym detalem. 

Główna sala reprezentacyjna znajdowała się na piętrze. Poprzedzała ją sień z pomieszczeniem kredensowym, do których wiodła z parteru paradna klatka schodowa. W wieżowych aneksach znajdowały się sypialnie i gabinety pana i pani domu.  

W fasadzie, która otwiera się na antokolskie wzgórza, nad wejściem znajdowała się pierwotnie tablica (zaginiona) z napisem w języku łacińskim, który tłumaczony na polski brzmiał następująco: „Góry usunąłem, wody Wilii ujarzmiłem, bez wzbicia się w powietrze przewyższyłem wzgórza, zwycięzca żywiołów, stałem się domem wypoczynku, antokolskim dostojnym towarzyszem bohaterów. Tu pod Luną (Księżycem) [jestem] przyjacielem odpoczynku, niech bogini pokoju złoży togę, niech dla spokojności życia pod herbem Ostoja Bellona złoży zbroję”. Powyżej, we frontonie z dekoracją stiukową wykonaną przez nieznany warsztat, na tle panoplii ukazano znaki właścicieli pałacu: Ostoję Słuszków i Gozdawę Podbereskich. Ujmują je postacie Chronosa oraz będącą kontaminacją Bellony i Luny personifikacja herbu Ostoja. Nad nimi znajduje się postać Fortuny. Treść tablicy inskrypcyjnej stanowi motto dla pałacu i dekoracji frontonu. Przypomina o horacjańskich ideałach, ale ukazuje też Słuszkę – wojewodę wileńskiego i pułkownika generalnego Wielkiego Księstwa Litewskiego, który brał udział w kampanii węgierskiej i mołdawskiej Jana III, jako męża hołdującego zasadzie pax et bellum. Była to jedna z głównych kategorii politycznych i występowała niezwykle często w literaturze i sztuce XVII w., łącząc dwie na pozór wykluczające się skrajności. Był to ideał, który propagował służbę ojczyźnie w czasach pokoju i wojny, co właśnie zaznaczono w inskrypcji pałacu Słuszków. Co ważne, ideową wzniosłość siedziby, którą Słuszka wybudował „walcząc” z żywiołami wody i ziemi, wzmacniał sam schemat pałacu z wieżami odwołującymi się do toposu rycerskości, ale też otaczający ją krajobraz – rzeka i widok na Wilno, a treści uzupełniała kaplica-eremitorium stojąca w ogrodzie. 

Podkreślić należy niezwykłość usytuowania rezydencji bezpośrednio nad brzegiem rzeki z ogrodem założonym równolegle do jej biegu. Zakomponowano go jako geometryczny, osiowy, ale ze względu na wąską i wydłużoną parcelę – z jedną aleją. Za częścią kwaterową, od strony miasta znajdował się parter wodny z kanałem dochodzącym do rzeki, gdzie w pobliżu usytuowana była wspomniana wyżej kapliczka. Przy takim układzie Wilia stała się komponentem założenia ogrodowego, płynąc równolegle do wytyczonej alei i sztucznego parteru, co stanowi ewenement w skali Rzeczpospolitej.  

Po śmierci Dominika Michała Słuszki siedziba przechodziła z rąk do rąk, coraz bardziej popadając w ruinę. Podczas powstania kościuszkowskiego w pałacu mieścił się sztab, lano kule i gromadzono broń. Po upadku wyzwoleńczego zrywu siedziba została przejęta przez rząd rosyjski. W 1831 r. budynek został wciągnięty w organizowaną w Wilnie twierdzę. W dawnej magnackiej siedzibie umieszczono szpital, potem koszary, a w 1869 r. pałac przebudowano na więzienie. W latach 1957–1959 podjęto remont mający na celu przystosowanie budynku do celów edukacyjnych. Obecnie w pałacu mieści się Lietuvos muzikos ir teatro akademija.