Палац, збудований Міхалом Казимиром Паком, великим гетьманом литовським і воєводою віленським, один з найпривабливіших у Вільнюсі, був спадщиною родини Паків до 1831 р. Палац був розташований у престижній частині міста, в самому його центрі. Поруч були палаци Радзивіллів і Ходкевичів, а навпроти них стояв костел Святого Миколая. Трохи далі знаходився костел св. Казимира і ратушна площа.

Початки цегляної забудови на місці, де на двох земельних ділянках був побудований палац Пацьких, датуються рубежем 15 і 16 ст. Старі стіни були використані під час будівництва нової резиденції Джованні Баттіста Фредіані, який як військовий інженер служив під командуванням Міхала Казимира Пацька. Йому допомагали майстри з Вільнюса, а також з Кракова, яких Пац привіз для будівництва костелу святих Петра і Павла в Антоколі.

Сама висота резиденції, що сягала трьох поверхів, вражала, але не менше вражала й архітектурна програма з її чітко вираженою репрезентативною функцією. Палац був побудований як фасадний будинок, орієнтований на вісь схід-захід, з двома прибудовами до внутрішнього двору: квадратною і прямокутною. Південний флігель містив, серед іншого, додаткові сходи, а північний - кухню внизу та комору на першому поверсі. На задньому підвищенні на першому поверсі була перекинута аркада (обнесена стіною).

Парадна брама була розташована на осі головного фасаду. Вона була обрамлена парами тосканських колон, які підтримували неглибокий кам'яний балкон на найважливішому поверсі (зруйнований на рубежі 20-го століття). Таким чином, це був один з найперших, а можливо, і перший приклад поєднання брами/порталу та вікон представницької зали з балконом у Республіці, рішення, яке стане типовим для 18 століття. Вікна фасаду, шириною понад 31 м, обрамлені у другому поверсі розкреповками з фронтонами, з яких центральний, що позначає вісь симетрії і головний зал палацу, вирішено сегментним. Над ним до початку 1830-х років знаходився герб Паків - Гоздава, виконаний з чорного малопольського каменю.

У той час, як двопрольотний склепінчастий перший поверх від самого початку призначався для оренди різних комор і крамниць, на першому поверсі були організовані представницькі зали. Парадний характер першого поверху підкреслено також на задньому фасаді завдяки більш вишуканому оформленню вікон.

У наступні століття фасади не зазнали жодних змін. Натомість інтер'єри модернізували, пристосовуючи їх до моди та вводячи різноманітні зручності. Остання і найважливіша трансформація інтер'єрів палацу відбулася за часів правління Людвіка Міхала Пака (1780-1835), учасника наполеонівської кампанії, одного з командирів Листопадового повстання, людини, відданої польським справам, знавця культури і досвідченого колекціонера старовинного мистецтва.

У 1810-1811 роках він переробив інтер'єри в дусі класицизму і багато обставив палац, створивши ексклюзивну міську резиденцію. Особливу увагу було приділено першому поверху та сходам, що ведуть на нього. У "блакитному будуарі" були виліплені іонічні колони з мармуровими валами. Поруч з великою залою влаштували "оранжерейний" кабінет, а поруч з ним - більярдну. Приміщення заднього тракту переобладнали під передпокій та їдальню. Останню перетворили на гардеробну, з'єднану зі спальнею, суміжною з ігровою кімнатою.

У приміщеннях з'явилися пейзажні (Ян Рустем з учнями, сходи), ілюзіоністичні (зокрема, рустикація на сходах, колони з балками в більярдній і в ігровій кімнаті) та міфологічні (ігрова, їдальня, більярдна, гардеробна) розписи. Представницькі сходи прикрашала ніша, в якій була розміщена гіпсова статуя Мінерви, виготовлена в майстерні колишнього художника короля Станіслава Августа Понятовського - Андре Ле Брюна, який у 1803-1811 роках керував скульптурною школою при тодішньому Імператорському Віленському університеті.

Також були покладені нові підлоги і плити, засклені вікна і нові входи на сходи з боку внутрішнього двору. Роботи виконували, зокрема, віленські майстри, серед яких були Юревич, Вітковський та Зілінський, а координував їх Джованні Боретті з Ломбардії, майстер-каменяр, відомий підрядник численних ремонтів церковних і світських будівель, з яким слід пов'язувати, серед іншого, мармурові колони будуару.

Після конфіскації майна Людвіка Міхала Пака в будинку деякий час містилося окружне казначейство і штаб дивізії, а потім пошта. Після Другої світової війни колишня резиденція Паца виконувала різні функції, а з 2018 року тут розмістився ексклюзивний готель. Остання функція є влучним відсиланням до престижу, яким користувалася штаб-квартира Пакса протягом усієї своєї історії. Тут зупинялися найвидатніші діячі, які відвідували Вільнюс, зокрема Ян III Собеський (1688), цар Петро I (1705) і нунцій Салуцца де Корільяно (1787). Цар Олександр I і Наполеон були присутні на прийомах у будинку Людвіка Міхала Пака. Останній з'явився близько 9-ї вечора на великому балу, організованому Паком 14 липня 1812 року на честь приєднання Литви до Варшавського герцогства. Він пробув там лише годину, тоді як решта гостей розійшлися близько 5 ранку. Того ж року в палаці жив неаполітанський король Йоахім Мюрат, а також Антуан Анрі де Жоміні, комендант Вільнюса і губернатор Смоленська, який наглядав за будівництвом царських укріплень у передмісті Сніпішті. У 1818-1822 роках у флігелі палацу, який займав Онуфрій Пєтрашкевич, відбувалися зустрічі філоматів і філаретів, на яких були присутні Адам Міцкевич і Томаш Зан.