Pałac zorganizowany przez Michała Kazimierza Paca, hetmana wielkiego litewskiego i wojewodę wileńskiego, jeden z najefektowniejszych w Wilnie, był dziedzictwem rodu Paców do 1831 r. Siedziba usytuowana była w prestiżowej części miasta, w samym jego centrum. W pobliżu znajdowały się pałace Radziwiłłów i Chodkiewiczów, a naprzeciw stała cerkiew św. Mikołaja. Nieco dalej usytuowany był kościół pw. św. Kazimierza i plac ratuszowy. 

Początki murowanej zabudowy w miejscu, gdzie na dwóch parcelach powstał pałac Paców, sięgają przełomu XV i XVI w. Stare mury podczas budowy nowej siedziby wykorzystał Giovanni Battista Frediani, który jako inżynier wojskowy służył pod komendą Michała Kazimierza Paca. Wspierali go rzemieślnicy wileńscy, ale i krakowscy, sprowadzeni przez Paca do budowy kościoła pw. śś. Piotra i Pawła na Antokolu.  

Wrażenie robiła już sama wysokość rezydencji, wznoszącej się na trzy kondygnacje, ale też program architektoniczny z wyraźnie wyeksponowaną funkcją reprezentacyjną. Pałac wystawiono w zabudowie pierzejowej, na osi wschód-zachód, z dwoma aneksami od dziedzińca: kwadratowym i prostokątnym. W południowym z nich znalazła się m.in. dodatkowa klatka schodowa, a w północnym na dole kuchnia, na I piętrze zaś kredens. Przy tylnej elewacji w przyziemiu rozpięto arkadowe podcienie (zamurowane).  

Paradna brama usytuowana została na osi głównej elewacji frontowej. Ujęto ją parami toskańskich kolumn, które podtrzymywały płytki, kamienny balkon przy najważniejszej sali piętra (zniszczone na przełomie XIX i XX w.). Byłby to zatem jeden z najwcześniejszych, a może w ogóle pierwsze przykłady w Rzeczpospolitej połączenia bramy/portalu i okien pomieszczenia reprezentacyjnego z balkonem, co stanie się rozwiązaniem typowym dla XVIII w. Okna  fasady szerokiej na ponad 31 m ujmowały w drugiej kondygnacji uszakowe ramy z naczółkami, z których środkowy zaznaczający oś symetrii i główną salę pałacu zaprojektowano jako segmentowy. Ponad nim do początku lat 30. XIX w. znajdował się herb Paców – Gozdawa wykonany z czarnego kamienia małopolskiego.  

O ile dwutraktowy, sklepiony parter od samego początku był przeznaczony na wynajmem na różnorodne składy i kramy, o tyle pomieszczenia reprezentacyjne, zorganizowano na piętrze. Paradny charakter piętra zaznaczono także w elewacji tylnej przez bogatsze opracowanie okien.  

Elewacje w kolejnych wiekach nie były poddawane zmianom. Modernizowano jednak wnętrza dostosowując je do mód i wprowadzając różnorodne udogodnienia. Ostatnią i najważniejszą przemianę wnętrza pałacu przeszły w czasach Ludwika Michała Paca (1780-1835), uczestnika kampanii napoleońskiej, jednego z dowódców powstania listopadowego, człowieka zaangażowanego w sprawy Polski, a przy tym konesera kultury i wytrawnego kolekcjonera sztuki dawnej.   

W latach 1810–1811 dokonał on przebudowy wnętrz w duchu klasycyzmu, a także bogato wyposażył pałac, kreując ekskluzywną miejską siedzibę. Szczególnie dużo uwagi poświęcono piętru i klatce schodowej do niego prowadzącej. W „błękitnej bawialni” wymurowano jońskie kolumny o marmoryzowanych trzonach. Obok wielkiej sali został zorganizowany gabinet „oranżeryjny”, obok którego urządzono pokój bilardowy. Pomieszczenia tylnego traktu zostały zamienione w przedpokój i salę jadalną. Ostatnie natomiast przekształcono w garderobę połączoną z sypialnią przylegającą do bawialni.  

Pomieszczenia zyskały malowidła o tematyce pejzażowej (Jan Rustem z uczniami, klatka schodowa), iluzjonistycznej (m.in. boniowanie w klatce schodowej, kolumny z belkowaniem w sali bilardowej i w bawialni) i mitologicznej (bawialnia, jadalnia, pokój bilardowy, garderoba). Reprezentacyjna klatka schodowa została ozdobiona niszą, w której ustawiono gipsową figurę Minerwy, wykonaną w pracowni dawnego artysty króla Stanisława Augusta Poniatowskiego – André Le Bruna, który w latach 1803–1811 prowadził na ówczesnym Cesarskim Uniwersytecie Wileńskim szkołę rzeźby. 

Położono też nowe podłogi i wystawiono piece, a także przeszklono okna i przepruto nowe wejścia na klatki schodowe od strony dziedzińca. Prace prowadzili m.in. wileńscy rzemieślnicy, w tym Jurewicz, Witkowski i Żyliński, a koordynował je Giovanni Boretti z Lombardii, mistrz murarski, wzięty wykonawca licznych remontów w budynkach kościelnych i świeckich, z którym należy związać m.in. marmoryzowane kolumny bawialni. 

Po konfiskacie majątku Ludwika Michała Paca w gmachu mieściło się przez pewien czas powiatowe podskarbstwo i sztab dywizji, a następnie poczta. Po II wojnie światowej dawna siedziba Paców pełniła różne funkcje, a od 2018 r. mieści się w niej ekskluzywny hotel. Ta ostatnia funkcja trafnie nawiązuje do prestiżu, jakim przez cały czas cieszyła się siedziba Paców. Goszczono w niej najznakomitsze postacie odwiedzające Wilno, w tym m.in. Jana III Sobieskiego (1688),  cara Piotra I (1705) czy nuncjusza Saluzza de Corigliano (1787). Na przyjęciach u Ludwika Michała Paca bywali car Aleksander I i Napoleon. Ten ostatni zjawił się ok. godz. 21 na wielkim balu zorganizowanym przez Paca 14 lipca 1812 r. z okazji przyłączenia Litwy do Księstwa Warszawskiego. Przebywał na nim zaledwie godzinę, podczas, gdy reszta biesiadników wyszła ok. 5 rano. W pałacu w tym samym roku mieszkał król Neapolu Joachim Murat, a także Antoine Henri de Jomini, komendant wileński i gubernator smoleński, nadzorujący budowę carskich umocnień na terenie przedmieścia Śnipiszki. W latach 1818–1822 w oficynie pałacowej zajmowanej przez Onufrego Pietraszkiewicza odbywały się spotkania filomatów i filaretów, w których uczestniczyli Adam Mickiewicz i Tomasz Zan.