Patrząc na odbudowany po II wojnie światowej gmach pałacu Brzostowskich trudno dostrzec fakt, że uznawano go ok. 1800 r. za jedną z najwytworniejszych rezydencji Wilna. Jego historia jest niezwykle ciekawa i sięga początków niemieckiego osadnictwa w tej części Wilna.

Pałac Pociejów (Brzostowskich) położony jest na tyłach kościoła franciszkanów i dawnego cmentarza przy kościele pw. Najświętszej Maryi Panny. Sąsiadował z siedzibą określaną w XVII w. jako stary pałac Woynów, czyli późniejszym pałacem Tyzenhauzów (Vittinghoffów), a także ze zborem i budynkami należącymi do gminy luterańskiej, ale też z kwartałem zajmowanym przez Żydów.

Dzieje siedziby sięgają średniowiecza, kiedy w XIV wieku w tym miejscu powstał murowany budynek. Pod koniec XVI w. realność należała do Jana Hlebowicza (zm. 1590), wojewody trockiego (1586-1590), podskarbiego i pisarza litewskiego (1580-1586), wyznania kalwińskiego. Po nim dziedziczył najstarszy syn Jan (zm. ok. 1604), a po jego śmierci młodszy - Mikołaj (zm. 1632), przyszły wojewoda smoleński (1611) i kasztelan wileński (1621). Z ówczesnych opisów wynika, że pałac był nie tylko obszerny, ale i bogato wyposażony. Na dole znajdowały się przede wszystkim pomieszczenia użytkowe, w tym przeznaczone na wynajmem (m.in. apteka), ale też skarbiec (od dziedzińca, w skrzydle zachodnim). Pokoje reprezentacyjne: dwie izby stołowe i dwie „izby wielkie”, umieszczone były w skrzydle zachodnim i w korpusie od ulicy. W „wielkiej izbie stołowej” dekorowanej w całości tkaninami (tzw. szpalery) wisiał „mosiądzowy” świecznik na 20 świec, a w wielkiej sieni świecznik z porożem jelenia.

W skrzydle zachodnim zorganizowano apartament pana domu, w którym w amfiladzie znajdowała się „izba pokojowa” poprzedzająca sypialnię, połączoną z gabinetem oraz z biblioteką/archiwum. Apartament pani domu - Katarzyny z Krotoskich usytuowany były na piętrze skrzydła wschodniego, łącząc się gankiem z kuchnią. We wszystkich pokojach stały piece z kaflami, w tym ozdobione herbem Hlebowiczów. Na skrajach obu apartamentów zorganizowano ustępy dla mieszkańców pałacu.

Na brukowanym dziedzińcu znajdował się budynek gospodarczy z mieszkaniami dla służby, a dalej kuchnia, piekarnia i browar oraz łaźnia i dwie stajnie. Wydzieloną przestrzeń w południowo-zachodniej części parceli zarezerwowano dla ogrodu o charakterze użytkowym. W 1699 i 1701 r. z pałacu ściągnięto do kasy miejskiej podatek za udostępnianie wody z rur. W inwentarzu pałacu z 1609 r. jest m.in. mowa o ośmiu rurach drewnianych „do strzeliania wodą”, które znajdowały się w jednym z pomieszczeń gospodarczych.

W roku 1636 siedzibę opisywano: „we wszystkim dostatnia” z obszernym podwórzem sięgającym klasztoru franciszkanów. Podczas sierpniowej procesji z trumną św. Kazimierza po ulicach miasta jedną z bram triumfalnych zorganizowano obok pałacu Hlebowiczów, wówczas już katolików. Świadczy to o znaczeniu właścicieli i ich siedziby w pejzażu Wilna, podobnie jak fakt, że bywali u nich królowie goszczący w litewskiej stolicy.

Podczas okupacji moskiewskiej pałac mocno ucierpiał. Ówczesnym jego właścicielem był syn Mikołaja Hlebowicza - Jerzy Karol (1603-1669), po którego śmierci realność znalazła się w rękach wdowy Katarzyny (1614-1674), córki Krzysztofa II Radziwiłła, gorliwej ewangeliczki reformowanej. Zrzekła się ona pałacu na rzecz swych córek: Anny Marcybelli (zm. 1681/2), zamężnej z Marcjanem Aleksandrem Ogińskim (1632-1690), i Krystyny Barbary (zm. 1695), żony Kazimierza Jana Sapiehy. Ostatecznie w 1679 r. pałac znalazł się w rękach Ogińskich, po których krótko trzymał wojewoda witebski Leonard Gabriel Pociej (1635-1695), ożeniony z Reginą Ludwiką z Ogińskich. Później właścicielem pałacu stał się ich syn hetman litewski Ludwik Konstanty (1664-1730), stąd też siedzibę nazywano „Hetmańską”.

Kolejnym posesorem był bratanek Ludwika Konstantego - Antoni (zm. 1749), strażnik litewski, którego stryj „z młodu u siebie hodował i niemały koszt na cudze kraje łożył”. Jednak czasy świetności siedziby już wówczas przeminęły. Z początkiem lat 40. XVIII w. pałac był opuszczony i zaniedbany, ale też wynajmowany na kwatery rzemieślnicze, w których część lokatorów stanowili Żydzi.

Niewykluczone, że siedzibę wraz z zadłużonymi dobrami brzeskimi Pocieja znalazł się w rękach Jerzego Detloffa Flemminga (1699-1771), od 1746 r. podskarbiego litewskiego. Pałac płonął w 1748 i w 1749 r., ale właściciel go remontował, bowiem regularnie wydawał w nim znakomite bale. Najpóźniej w 1762 r. Detloff Flemming sprzedał najpierw pałac, a w 1764 r. urząd podskarbiego litewskiego Michałowi Brzostowskiemu (1722-1784). Po nim dziedziczyła jego córka Barbara (zm. 1792), zamężna z innym przedstawicielem rodu i imiennikiem swego ojca - Michałem z Brzostowa Brzostowskim (zm. 1800).

Z początkiem wieku XIX dwukondygnacyjny pałac stał się własnością majętnej mieszczańskiej rodziny Müllerów, wywodzącej się ze Lwowa. Podwyższyli ono budynek o kondygnację i nadali nowy wygląd jego fasadzie. W 1806 r. w pałacu odnotowano 53 duże pokoje i 20 małych. Stajnia była przeznaczona na 12 koni, a wozownia na 4 pojazdy. W tym czasie pałac, a przede wszystkim jego wielka sala, był wynajmowany na różnorodne koncerty, bale, ale też na spotkania resursy szlacheckiej. W 1840-1858 jedno z mieszkań zajmował Stanisław Moniuszko (1819-1872), organista w pobliskim kościele benedyktynek pw. św. Katarzyny. W 1944 r. pałac został mocno zniszczony, odbudowany, mieści obecnie siedzibę Swedbank.