Палац розташований на перетині трьох вулиць: Dominikonų g., Šv. Jono g., Universiteto g. (Домініканської, Іоаннівської та Єпископської), поруч з колишнім Папським виховним будинком для московитів і русинів, в глибині колишнього Єпископського палацу (Губернаторський палац, нині Президентський палац), неподалік від костелу Іоанна Хрестителя та Вільнюської академії, а також костелів Святої Трійці і Святого Духа. Земельні ділянки разом з будівлями, зруйнованими після московської окупації (1655-1660), були придбані у 1660 році. Землю разом з дружиною Рахелою, уродженою Дунін Раєцкіс, придбав реєстратор Великого князівства Литовського і фундатор костелу каноніків регулярного покаяння в Міхалішкесі, королівський посланець, а незабаром каштелян (1681) і воєвода тракайський (1684) Кипріян Павло Бжостовський (1612-1688), засновник родової влади герба Стшемі, людина, як писали в той час, "великого розуму, розсудливості і глибокої обережності".

Резиденцію успадкував його син Ян Владислав (1646-1710), каштелян троцький, який відновив будівлю після пожежі, а роботу продовжив литовський писар Юзеф (пом. 1745), "кровожерливої вдачі". Резиденція знову горіла у 1748 та 1760 роках, коли вона вже була власністю лівонського воєводи Станіслава Бжостовського (1733-1769). Він передав нерухомість своєму братові Павлу Ксаверію, каноніку віленському, письменнику і майбутньому референдареві Литви (1774). Публіцист і перекладач, а також щедрий захисник літераторів, він був засновником Селянської держави (Павловська республіка, 1769). Ще в 1762 році він взяв на себе відповідальність за реконструкцію палацу, яку для нього здійснив Карло Спампані. Цим роком датується оздоблення приміщення першого поверху - кабінету або спальні, на стінах і стелі якого намальовані рокайлі, герби Стшемієнів і картуш з написом, що вказує на власника резиденції. Оздоблення холу в стилі рококо дозволяє припустити, що подібний характер отримали й інші приміщення. Це пов'язано з тим, що Бжостовський провів роботи з повної модернізації інтер'єрів і надання нового вигляду фасадам, а також цегляним господарським будівлям. По завершенні цих робіт, у 1769 році, він встановив меморіальну дошку в пам'ять не лише про себе, але й про родину Бжостовських - будівничих і власників віленського палацу. Вона розташована над бічними дверима з боку внутрішнього двору, які колись вели до каплиці на першому поверсі палацу. Отже, розташування меморіальної дошки, сьогодні абсолютно незрозуміле через різне функціональне призначення приміщень, не було випадковим.

Як уже згадувалося, основний вигляд віленська резиденція набула у 1760-х роках як двоповерхова будівля, розташована на осі схід-захід у фронтальній забудові. Цокольний корпус набув неправильної прямокутної форми з ділянками бічних крил, що виходять на подвір'я. Корпус планувався як двонефна споруда зі склепіннями на обох поверхах, причому склепіння на першому поверсі, ймовірно, з'явилися під час реконструкції Павла Ксаверія Бжостовського. З внутрішнього двору в частині брамного проїзду були організовані двоповерхові і тривісні аркадно-колончасті лоджії з тосканськими пілястрами (засклені і частково замуровані).

Незважаючи на успішну реконструкцію, Павло Ксаверій Бжостовський у 1772 р. продав палац камергеру Самогитії Якубу Ігнацію Нагурському (1734-1799), кавалеру орденів Святого Станіслава та Білого Орла, пов'язаному зі Станіславом Августом. Він ввів свій рід в еліту Великого князівства Литовського, гордо титулуючи себе "графом Великого і Малого Корця". Тому на порталі брами герб Бжостовських тоді замінили на герб роду Побуг-Нагорських (помилково реконструйований). Тоді ж одна з кімнат першого поверху була прикрашена розписом альтанки типу палюдаментум. Таке оздоблення було характерним переважно для резиденцій, пов'язаних із садовим плануванням. Тому віленську реалізацію слід вважати оригінальною, оскільки вона була здійснена в місті.

У 1802 р. палац був проданий Огінським. У ньому мешкала Марія де Нері (1788-1851), вдова Каєтана Нагурського (після 1760 - 1802) і друга дружина Міхала Клеофаса Огінського (1765-1833). До цього періоду відноситься (частково) збережене внутрішнє оздоблення першого поверху, в тому числі ілюзіоністські колони на тлі рустованої стіни. У 1888-1890 роках палац реконструював петербурзький архітектор Кипріян Макулевич (1830 - до 1906?), який, ймовірно, збудував прибудови, а можливо, і розширив його, зрештою, закривши внутрішнє подвір'я.

Частину кімнат Огінські винаймали. З 1887 року шестикімнатну квартиру займав Владислав Загорський (1858-1927), лікар, знавець історії Вільнюса та його пам'яток, а також організатор Товариства друзів науки (1906). Сьогодні в палаці розташовані квартири, офіси і магазини, а також аптека. Частина флігелів залишається занедбаною.