Палац розташований поруч з костелом св. Івана Хрестителя та колишньою Віленською академією, по сусідству з неіснуючою резиденцією Радзивіллів під назвою Кардиналія, а також колишніми будинками Лацких і Сапєг та палацом Бжостовських. Вулиця Свєнтоянська, з'єднана з вулицею Замковою і репрезентативною via regia, звернена на південь до ринкової площі з ратушею і костелом св. Казимира, а на північ - до замку і кафедрального собору. Трохи далі, між Брамою Світанку і Рудницькою брамою, знаходився квартал, пов'язаний з кармелітами, де Стефан Пак (1587-1640) разом зі своєю дружиною Анною Марією Анціллою з Рудоміна Дусяцького (померла 1643 р.) заснував два костели - св. Терези і св. Йосифа (зруйнований після Січневого повстання). Саме цей підприємливий литовський підскарбій, згодом великий канцлер Литви, який підніс свою родину до еліти Речі Посполитої, купив маєток у 1628 році. Відтоді і до 1783 року він залишався власністю родини Пакас, а потім, протягом короткого періоду, менш ніж 20 років, - родини Сапєг.

Стефан Пак відреставрував будівлю після її купівлі. Роботи були завершені до 1633 року, бо з цього року він охоче і, як читаємо в джерелах, "щедро" приймав гостей у своєму палаці у Вільнюсі. Прийоми почалися з першого весілля його дочки Софії 24 липня 1633 року, на якому "весь двір був присутній на церемонії і бенкеті, присвятивши день веселощам, танцям і Вакху". Її весілля з литовським обозним Яном Казимиром Ходкевичем "з великою пишністю" відбулося через три роки, і його прикрасила Анна Катерина Ваза. "Тіснота простору не могла вмістити такого натовпу. О шостій годині вечора, серед плутанини і сварок, і навіть поранення деяких, королівська особа повернулася до замку, а гості таким чином закінчили день і місяць". В іншому місці незамінний щоденникер Альбрихт Станіслав Радзивілл зазначав: "литовський підканцлер приймав нас усіх майже цілий день з розкішним бенкетом; вино, музика, завзяття бенкетувальників; він не відпускав ситих і напоєних гостей до заходу сонця".

Московська окупація (1655-1660) сприяла руйнуванню палацу, а відбудовував резиденцію вже молодший син Стефана Паца, литовський канцлер Христофор Сигізмунд (1621-1684). Прагнучи надати столичному осідку належної репрезентативності, він не зміг розширити фасадний корпус через прилеглі кам'яниці, тому збудував двоповерхові бічні крила (східне продовжив), що оточували неправильний трапецієподібний двір. Роботи велися з початку 1760-х років, зокрема, муляром, якого називали німцем або "Олендером", який також виконував "ліпні роботи". Над палацом також працював тесля, привезений з Кенігсберга.

Глибокі зміни у зовнішньому вигляді Вільнюського палацу відбулися після 1748 року, коли він згорів під час великої пожежі міста. На той час він належав Антоні Міхалу (1715/16-1774) та Терезі Барбарі з Радзивіллів (1714-1780), багатій вдові, яка вийшла заміж за Пака у 1745 році. Завдяки зусиллям подружжя палац став одним з найрозкішніших у місті, нагадуючи модні тоді французькі готелі. Відтоді тут також вирувало багате світське життя, а Паки охоче і часто влаштовували тут різноманітні заходи.

Під час проведених робіт парадний двір був закритий цегляним двоповерховим флігелем з мезоніном, одноарочним з брамою на осі. Оскільки він виконував також представницьку і житлову функцію, його фасади були обрамлені тосканськими пілястрами у великому ордері. На першому поверсі амфітеатром розташовувалися кімнати, в тому числі модні на той час будуари.

Фасадний корпус також перебудували і надбудували антресолі. У великій приймальній залі, розташованій на першому поверсі з боку фасаду, було організовано "хор" для оркестру. Вхідний фасад отримав нове оздоблення в стилі рококо з іонічними пілястрами, ліпним декором у вигляді пано з гербовим картушем у тимпані та брамою, обрамленою волютною декорацією. Прикраси мали на меті нагадати про військові подвиги предків Антонія Міхала Паца і, можливо, створити його власну лицарську гідність, якої він, здається, не мав: хоча він був полковником під петроградським і гусарським прапорами Великого Литовського воєводства, він прославився тим, що втік через вікно під час сеймових заворушень.

У 1801 році палац перейшов у власність Віленського магістрату, а в 1816 або 1831 році будівля перейшла у власність царської держави для розміщення губернських канцелярій. До Першої світової війни в палаці розміщувався ресторан "Русский мир", а також магазини і склади. У 1918 році в будівлі діяло литовське товариство "Рута", а в 1923 році - книгарня товариства "Швитурис". У 1944 році внаслідок воєнних дій палац було зруйновано, а його найближче оточення перетворено. У 2007 році колишню резиденцію панів викупила Республіка Польща, облаштувавши в будівлі посольство, яке дбайливо зберігало палац у 2013-2017 роках.