Дивлячись на реконструйовану після Другої світової війни будівлю палацу Бжостовських, важко помітити той факт, що близько 1800 року він вважався однією з найелегантніших резиденцій у Вільнюсі. Його історія надзвичайно цікава і сягає корінням у часи заселення цієї частини Вільнюса німцями.

Палац Поцея (Бжостовського) розташований в задній частині францисканського костелу і колишнього цвинтаря при костелі Пресвятої Діви Марії. Він прилягав до того, що в 17 столітті було відоме як старий палац Война, а пізніше палац Тизенгауза (Віттінгауза), а також до костелу і будівель, що належали лютеранській громаді, а також до кварталу, зайнятого євреями.

Історія цього місця сягає середньовіччя, коли у 14 столітті на цьому місці було зведено цегляну будівлю. Наприкінці 16 століття маєток належав Яну Глебовичу (пом. 1590), воєводі тракайському (1586-1590), скарбнику і писарю литовському (1580-1586), кальвіністу. Його наступником став старший син Ян (пом. бл. 1604), а після його смерті - молодший син Миколай (пом. 1632), майбутній смоленський воєвода (1611) і віленський каштелян (1621). З тогочасних описів випливає, що палац був не лише просторим, але й багато обставленим. Внизу знаходилися переважно господарські приміщення, в тому числі приміщення для оренди (наприклад, аптека), а також скарбниця (з боку двору, в західному крилі). Представницькі приміщення: дві їдальні та дві "великі зали", були розташовані в західному крилі та в корпусі, що виходив на вулицю. У "великій їдальні" стояв "мідний" свічник на 20 свічок, повністю оздоблений тканинами (так звані "штилі"), а у великому передпокої - свічник з оленячим рогом.

Покої господаря були організовані у західному крилі, амфітеатром, що містив "палату кімнат", яка передувала спальні, поєднаній з кабінетом і бібліотекою/архівом. Покої господині будинку - Катерини Кротоської - були розташовані на першому поверсі східного крила, з'єднані з кухнею через ґанок. Кахельні плити стояли у всіх кімнатах, у тому числі прикрашені гербом Глебовичів. По краях обох помешкань для мешканців палацу були влаштовані туалети.

У брукованому подвір'ї був флігель з квартирами для прислуги, а далі - кухня, пекарня і броварня, а також лазня і дві стайні. Окремий простір у південно-західній частині ділянки був відведений під сад утилітарного характеру. У 1699 і 1701 роках з палацу стягувався податок до міської скарбниці за надання водопроводу. В інвентарному описі палацу 1609 року згадується, серед іншого, вісім дерев'яних труб "для стрільби водою", які знаходилися в одному з господарських приміщень.

У 1636 році резиденція була описана: "у всьому благополучна", з просторим подвір'ям, що простягалося до францисканського монастиря. Під час серпневої процесії з труною святого Казимира вулицями міста, одна з тріумфальних брам була організована поруч з палацом родини Глебовичів, на той час вже католиків. Це свідчить про важливість власників та їхньої резиденції в ландшафті Вільнюса, як і той факт, що королі, які відвідували литовську столицю, відвідували їх.

Під час московської окупації палац був сильно пошкоджений. Його власником у той час був син Миколая Глебовича Юргіс Кароль (1603-1669), після смерті якого маєток перейшов до рук його вдови Катерини (1614-1674), доньки Криштофа ІІ Радзивілла, ревного реформатора-євангеліста. Вона передала палац своїм дочкам: Анні Марцибеллі (пом. 1681/2), яка вийшла заміж за Марціана Олександра Огінського (1632-1690), та Христині Барбарі (пом. 1695), дружині Казимира Яна Сапєги. Нарешті, у 1679 р. палац перейшов до рук Огінських, після яких ним недовго володів вітебський воєвода Леонард Габріель Поцей (1635-1695), одружений з Регіною Людвікою з Огінських. Пізніше власником палацу став їхній син, литовський гетьман Людвік Костянтин (1664-1730), тому резиденція отримала назву "Гетьманський палац".

Наступним власником став племінник Людвіка Костянтина, Антоній (пом. 1749), литовський опікун, якого дядько "з малих літ виховував у себе вдома і платив чималі гроші в інші країни". Однак, на той час дні слави цього місця вже минули. На початку 1740-х років палац був занедбаний і занедбаний, але його також здавали в оренду під помешкання ремісників, серед яких були і євреї.

Не виключено, що резиденція разом з борговим брестським маєтком Поцея опинилася в руках Єжи Детлова Флеммінга (1699-1771), литовського підскарбія з 1746 року. Палац горів у 1748 і 1749 роках, але власник його відновлював, оскільки регулярно давав там чудові бали. Не пізніше 1762 року Детлофф Флеммінг продав спочатку палац, а в 1764 році посаду литовського підскарбія Міхалу Бжостовському (1722-1784). Йому успадкувала його дочка Барбара († 1792), яка вийшла заміж за іншого представника роду і тезку свого батька, Міхала з Бжостова Бжостовського († 1800).

На початку 19 ст. двоповерховий палац перейшов у власність заможної міщанської родини Мюллерів, які походили зі Львова. Вони надбудували будівлю на один поверх і надали нового вигляду її фасаду. У 1806 році палац мав 53 великі кімнати і 20 малих. Стайня була розрахована на 12 коней, а каретний двір - на 4 екіпажі. У той час палац, а особливо його велику залу, здавали в оренду для проведення різних концертів, балів, а також для зустрічей шляхетського дворянства. У 1840-1858 рр. одну з квартир займав Станіслав Монюшко (1819-1872), органіст сусіднього бенедиктинського костелу св. Катерини. Палац був сильно пошкоджений у 1944 році, відбудований і зараз в ньому знаходиться головний офіс Swedbank.