Палац Огінських був однією з найбільших і найвеличніших резиденцій у Вільнюсі. Для того, щоб милуватися його фасадом з вулиці Остробрамської, до 1765 року була прокладена коротка тунельна вулиця, не випадково названа Проспектовою.

Палац Огінських був створений в результаті послідовного злиття сусідніх володінь, яке тривало близько 100 років, і в результаті став однією з найбільших резиденцій (близько 6,9 га) у Вільнюсі, яку можна порівняти лише з палацом Радзивіллів на перехресті вулиць Замкової та Свентоянської (не зберігся). Розміри палацу визначаються податковим переписом 1806 року, коли було зафіксовано 40 великих і 19 малих кімнат. Стайня була розрахована на 36 коней, а каретний двір - на 8 екіпажів.

Витоки резиденції Огінських сягають 1677 року, коли вітебський камергер Шимон Кароль Огінський (пом. 1699 р.) купив будинок у Кушелінських. Не виключено, що вибір місця був мотивований не лише зручним розташуванням відносно Рудницької брами і близькістю до ринкової площі, але й близькістю до трьох костелів, пов'язаних з кармелітами - вісцерального і босих. Огінський був відомий своєю побожністю і підтримкою саме цих орденів. Він навіть заснував монастир Святої Терези на Рибаках - передмісті за річкою Неріс.

Маєток успадкувала третя дружина Огінського, Тереза з Войнова, тітка майбутнього короля Станіслава Понятовського. Пізніше палац перейшов до рук Марціана Міхала Огінського (1672-1750), п'ятого сина Шимона Кароля. У наступні десятиліття він придбав сусідні кам'яниці, провівши в них реставраційні роботи. Незадовго до смерті вітебський воєвода заповів палац своєму старшому синові Ігнатію (бл. 1698-1775). Решту нерухомості між вулицями Конською та Рудницькою він розділив між молодшими синами від першого шлюбу з Терезою Бжостовською (пом. 1721 р.): Тадеушем Францішеком (1712-1783) і Казимиром (пом. 1769). Казімєж продав свою частку Іґнациєві 28 квітня 1751 року, який через три роки придбав маєток у Тадеуша Францішека.

У 1753, 1755 і 1758 роках Іґнацій Оґінський продовжував скуповувати навколишню нерухомість, оточивши нерегулярну, але імпозантну територію, пов'язану з репрезентативними урочищами, оскільки вона лежала між двома вулицями, розташованими в глибині Ратушної площі. Обидві частини - з боку вул. Рудницької та вул. Конської - мали підвали і мали форму перевернутої літери U. Таким чином, будівля була розташована на осі схід-захід з репрезентативною частиною з боку вул. Конської. Квартал з боку вул. Рудницької набув остаточної триповерхової форми на початку 1870-х рр. і зберіг свій пізньобароковий характер до сьогодні. Його центральна частина з в'їзною брамою відсунута назад. Вона також має заокруглені кути з динамічно сформованим карнизом. Фасад, що також виходить на подвір'я, оживлений панелями з різьбленими кутами, які розділяють окремі поверхи. Центральна частина над брамою вкрита лізенами, а цокольний поверх збагачений бонами. З боку двору всю ширину нижнього поверху перекривають аркади.

Ще у 1749 р. Ігнацій Огінський купив згорілі та "пусті" будинки на вул. Конській, навпроти палацу. Найпізніше у 1765 р. він наказав їх знести і організував коротку, але широку вулицю, що вела прямо від резиденції до вулиці Остробрамської, закриваючи звідти вид на палацовий фасад. Таким чином, площа перед Брамою світанку, яка вже була визнаною святинею Вільнюса і одним з в'їздів, що використовувався для парадних в'їздів до литовської столиці, була докорінно змінена. Закриття фасадом палацу виду на нову вулицю створило сценографічні рішення в міському просторі. Вид на палац був створений осьовим і тунельним способом. Таким чином, простір взаємодіяв з глядачем, а палац став важливим міським елементом у цій частині Вільнюса.

Діяльність Ігнація Огінського та його дружини Гелени (бл. 1700-1792), про яку говорили, що вона була "жінкою красивою, мудрою і [такої] великої сили, що могла ламати підкови", пов'язана з численними фундаціями, які вони проводили у власних маєтках, а також у Варшаві. Оскільки вони були бездітними, їх успадкували найближчі родичі, в тому числі сини Тадеуша Францішка - Анджей Ігнацій (1740-1787) і Францішек Ксаверій (1742-1814).

У 1807-1808 роках будівлю палацу на вулиці Конській реконструював тодішній власник Міхал Клеофас Огінський (1765-1833), син Анджея Ігнація. Цей успішний композитор і освічена людина надав цій частині палацу модного класицистичного вигляду, пристосувавши фасад до виду з вулиці Остробрамської.

У 1828 та 1835 роках палац (частково) виставлявся на продаж через борги Огінського, а також був реквізований царатом за участь у Листопадовому повстанні. З 1833 по 1859 рік резиденцією володів Іренеуш Клеофас Огінський (1808-1863). У 1840-1850 роках її реконструювали, збудувавши у внутрішньому дворі житлову прибудову, яка розділила її на дві нерівні частини, розмиваючи грандіозний характер резиденції.

Наступником Іренеуша Клеофаса став Міхал Миколай Огінський (1849-1902), а згодом родич його дружини Марії - Кароль Януш Скоржевський (1897-1977). Під час Другої світової війни в будівлі розміщувалися різні установи, пов'язані зі створеним німцями єврейським гетто. Палац був значно пошкоджений під час воєнних дій. Відбудований заново, з 1975 року в ньому розмістився театр, квартири, а також службові приміщення.