Pałac usytuowany jest u zbiegu trzech ulic: Dominikańskiej, Świętojańskiej i Biskupiej (Dominikonų g., Šv. Jono g., Universiteto g.), obok niegdysiejszego Alumnatu Papieskiego dla Moskali i Rusinów, na tyłach dawnego pałacu biskupiego (pałac gubernatora, obecnie pałac prezydencki), w sąsiedztwie kościoła pw. św. Jana Chrzciciela i Akademii Wileńskiej oraz kościołów pw. Świętej Trójcy i Świętego Ducha. Parcele wraz ze zrujnowaną po okupacji moskiewskiej (1655-1660) zabudową w 1660 r. nabył wraz z żoną Rachelą z Dunin Rajeckich referendarz Wielkiego Księstwa Litewskiego i fundator kościoła Kanoników Regularnych od Pokuty w Michaliszkach, poseł królewski, a już wkrótce kasztelan (1681) i wojewoda trocki (1684) Cyprian Paweł Brzostowski (1612-1688), twórca potęgi rodu herbu Strzemię, mąż, jak wówczas pisano, „dowcipu wielkiego, rozsądku i przezorności głębokiej”.

Siedzibę odziedziczył jego syn Jan Władysław (1646-1710), kasztelan trocki, który odnowiał budowlę po pożarze, a prace kontynuował pisarz litewski Józef (zm. 1745), „temperamentu krwisto-cholerycznego”. Siedziba płonęła ponownie w 1748 i 1760 r., kiedy była już własnością wojewody inflanckiego Stanisława Brzostowskiego (1733-1769). Realność odstąpił on bratu - kanonikowi wileńskiemu Pawłowi Ksaweremu, pisarzowi i przyszłemu referendarzowi litewskiemu (1774). Publicysta i tłumacz, a przy tym hojny opiekun literatów, założyciel państwa włościańskiego (Rzeczpospolita Pawłowska, 1769). Jeszcze w 1762 r. zajął się remontem pałacu, który prowadził dla niego Carlo Spampani. Z tego właśnie roku pochodzi dekoracja sali na parterze - gabinetu lub sypialni, gdzie na ścianach i na sklepieniu namalowano rocaille, herby Strzemię i kartusz z napisem informującym o właścicielu siedziby. Rokokowy wystrój sali sugeruje, że charakter taki otrzymały pozostałe pomieszczenia. Brzostowski podjął się bowiem prac związanych z całościową modernizacją wnętrz i nadaniem nowej szaty elewacjom, a także wymurowaniem oficyn. Na ich zakończenie w 1769 r. ufundował tablicę, upamiętniając nie tylko siebie, ale też ród Brzostowskich - budowniczych i właścicieli pałacu wileńskiego. Znajduje się ona nad bocznymi drzwiami od strony dziedzińca, które niegdyś prowadziły do kaplicy urządzonej na parterze pałacu. Usytuowanie tablicy, dziś całkowicie niezrozumiałe ze względu na inną funkcję pomieszczeń, nie było więc przypadkowe.

Jak wspomniano, zasadniczy kształt wileńska siedziba zyskała w latach 60. XVII w. jako dwukondygnacyjna, usytuowana na osi wschód-zachód w zabudowie pierzejowej. Podpiwniczony korpus przyjął nieregularny kształt zbliżony do prostokąta z odcinkami skrzydeł bocznych od dziedzińca. Korpus zaplanowano jako dwutraktowy, a w obu jego kondygnacjach występują sklepienia, z których te na piętrze założono najpewniej podczas przebudowy podjętej przez Pawła Ksawerego Brzostowskiego. Od dziedzińca w partii przejazdu bramnego zorganizowano dwukondygnacyjne i trójosiowe arkadowo-filarowe loggie z pilastrami toskańskimi (przeszklone i częściowo zamurowane).

Mimo udanej przebudowy Paweł Ksawery Brzostowski sprzedał w 1772 r. pałac podkomorzemu żmudzkiemu Jakubowi Ignacemu Nagórskiemu (1734-1799), związanemu ze Stanisławem Augustem kawalerowi orderów św. Stanisława i Orła Białego. Wprowadził on swoją rodzinę do elity Wielkiego Księstwa Litewskiego, tytułując się dumnie „hrabią na Wielkich i Małych Korcianach”. Stąd w portalu bramnym zamieniono wówczas herb Brzostowskich na Pobóg Nagórskich (błędnie rekonstruowany). To wówczas w jednej z sal parteru powstało malowidło w typie altany z paludamentum. Dekoracja taka była charakterystyczna przede wszystkim dla siedzib połączonych z założeniami ogrodowymi. Realizację wileńską należy więc uznać za oryginalną, bo zrealizowaną w mieście.

W 1802 r. pałac sprzedano Ogińskim. Mieszkała w nim Maria de Nèri (1788-1851), wdowa po Kajetanie Nagórskim (po 1760 - 1802) i druga żona Michała Kleofasa Ogińskiego (1765-1833). Z tego czasu pochodzi zachowana (częściowo) malarska dekoracja wnętrz piętra, w tym iluzjonistyczne kolumny na tle boniowanej ściany. W latach 1888-1890 pałac remontował wykształcony w Petersburgu architekt Cyprian Maculewicz (1830 - przed 1906?), który zapewne wzniósł przybudówki oficyn, a być może także je powiększył, zamykając ostatecznie podwórze.

Ogińscy część pomieszczeń wynajmowali. Od 1887 r. sześciopokojowe mieszkanie zajmował Władysław Zahorski (1858-1927), lekarz, znawca historii Wilna i jego zabytków, a także organizator Towarzystwa Przyjaciół Nauki (1906). Obecnie w pałacu znajdują się mieszkania, biura i sklepy, a także apteka. Część oficyn pozostaje opuszczona.