Pałac usytuowany jest obok kościoła pw. św. Jana Chrzciciela i dawnej Akademii Wileńskiej, w sąsiedztwie nieistniejącej Radziwiłłowskiej siedziby zwanej Kardynalia, a także dawnych domów Lackich i Sapiehów oraz pałacu Brzostowskich. Ulica Świętojańska łączyła się z ul. Zamkową i reprezentacyjną trasą via regia, wychodząc ku południowi na rynek z ratuszem i kościołem pw. św. Kazimierza, a ku północy na zamek i katedrę. Nieco dalej, pomiędzy Ostrą Bramą a bramą Rudnicką znajdował się kwartał związany z karmelitami, gdzie Stefan Pac (1587-1640) wraz z żoną Anną Marią Ancillą z Rudominów Dusiackich (zm. 1643) ufundował dwie świątynie – pw. św. Teresy i pw. św. Józefa (rozebrany po powstaniu styczniowym). To bowiem ten przedsiębiorczy podskarbi litewski, późniejszy podkanclerz wielki litewski, który wyniósł swój ród do elity Rzeczpospolitej, w 1628 r. zakupił realność. Odtąd aż do 1783 r. pozostawała ona własnością rodu Paców, a następnie krótko, bo przez niecałe 20 lat, Sapiehów.  

Stefan Pac po zakupie siedziby gmach remontował. Prace zakończono przed 1633 r., bowiem od tego roku chętnie i, jak czytamy w źródłach, „hojnie” przyjmował gości w swoim wileńskim pałacu. Przyjęcia rozpoczęły się od pierwszych zrękowin jego córki Zofii 24 VII 1633 r., podczas których „na uroczystości i na uczcie, poświęcając dzień weseleniu się, tańcom i Bachusowi”, obecny był cały dwór. Jej wesele z koniuszym litewskim Janem Kazimierzem Chodkiewiczem „z wielką pompą” odbyło się 3 lata później, a zaszczyciła je Anna Katarzyna Wazówna. „Szczupłość przestrzeni nie mogła pomieścić tego tłumu. O godzinie szóstej wieczorem wśród zamieszania i kłótni, a nawet i ran u niektórych, królewna powróciła na zamek, a goście w ten sposób zakończyli dzień i miesiąc”. W innym miejscu niezastąpiony pamiętnikarz Albrycht Stanisław Radziwiłł zanotował: „podkanclerzy litewski przez cały prawie dzień przyjmował nas wszystkich wspaniałą ucztą; wino, muzyka, ochota biesiadników; dobrze nakarmionych i napojonych gości wypuścił dopiero o zachodzie słońca”.   

Okupacja moskiewska (1655-1660) przyczyniła się do zniszczenia pałacu, a rezydencję odbudował już młodszy z synów Stefana Paca – kanclerz litewski Krzysztof Zygmunt (1621-1684). Dążąc do nadania stosownej reprezentacji stołecznej siedzibie, nie mógł ze względu na stojące obok kamienice poszerzyć budynku frontowego, wzniósł zatem dwukondygnacyjne boczne skrzydła (wschodnie rozbudował) ujmujące nieregularne, trapezowate podwórze. Prace były prowadzone od początku lat 60. XVII w. m.in. przez murarza, który był nazywany Niemcem lub „Olendrem” wykonującym także „sztukatorską robotę”. Przy pałacu pracował także cieśla sprowadzony z Królewca. 

Gruntowne zmiany w wyglądzie wileńskiej siedziby nastąpiły po 1748 r., kiedy spłonęła w wielkim pożarze miasta. Należała wówczas do Antoniego Michała (1715/16–1774) i Teresy Barbary z Radziwiłłów (1714–1780), majętnej wdowy poślubionej przez Paca w 1745 r. Podjęte przez małżonków prace sprawiły, że pałac stał się jednym z szykowniejszych w mieście, upodabniając się do modnych wówczas francuskich hôtels. Odtąd tętnił też bogatym życiem towarzyskim, a Pacowie chętnie i często urządzali w nim różnorodne imprezy.   

Podczas podjętych prac zamknięto dziedziniec paradny oficyną murowaną, dwukondygnacyjną z mezzaninem, jednotraktową z bramą na osi. W związku z tym, że pełniła ona także funkcję reprezentacyjno-mieszkalną, jej elewacje opięto pilastrami toskańskimi w wielkim porządku. Na piętrze znalazły się w niej pokoje w amfiladzie, w tym tak wówczas modne buduary.  

Przebudowie uległ także budynek frontowy, który otrzymał mezzanino. W wielkiej sali reprezentacyjnej, znajdującej się na piętrze od strony fasady zorganizowano „chórek” dla kapeli. Paradna elewacja wjazdowa uzyskała nową, rokokową dekorację z pilastrami jońskimi, z umieszczoną na osi dekoracją stiukową w postaci panoplii z kartuszem herbowym w tympanonie, i z bramą ujętą dekoracją wolutową. Ornamenty miały przypominać o żołnierskich czynach przodków Antoniego Michała Paca i zapewne kreować jego własną rycerską powagę, której raczej nie posiadał: chociaż był pułkownikiem petyhorskim i chorągwi husarskiej Buławy Wielkiej Litewskiej, zasłynął tym, że uciekł oknem podczas tumultu sejmowego. 

Pałac w 1801 r. znalazł się w gestii wileńskiego magistratowi, a w 1816 lub 1831 r. budynek przejęło państwo carskie dla pomieszczenia urzędów gubernialnych. Przed I wojną światową w pałacu czynna była restauracja Ruskij Mir, a także sklepy i magazyny. W 1918 r. w budynku działało litewskie stowarzyszenie „Rūta”, a w 1923 r. księgarnia spółki „Švyturys”. W 1944 r. w wyniku działań wojennych pałac został zniszczony, a jego najbliższa okolica uległa przemianie. W 2007 r. dawną siedzibę Paców zakupiła Rzeczpospolita Polska, urządzając w gmachu ambasadę, starannie pałac konserwując w latach 2013–2017.