Pałac Ogińskich należał do największych i najwytworniejszych rezydencji Wilna. Aby podziwiać jego fasadę z ul. Ostrobramskiej przed 1765 r. wybito krótką, tunelową uliczkę nieprzypadkowo nazywaną Prospektową.

Pałac Ogińskich powstał w wyniku sukcesywnego, trwającego ok. 100 lat łączenia przylegających do siebie nieruchomości, w efekcie czego stał się jedną z największych powierzchniowo rezydencji (ok. 6,9 ha) Wilna, porównywalną jedynie z Radziwiłłowską Kardynalią u zbiegu ulic Zamkowej i Świętojańskiej (niezachowany). Wielkość pałacu określa spis podatkowy z 1806 r., kiedy odnotowano w nim 40 wielkich i 19 małych pokoi. Stajnia była przeznaczona na 36 koni, a wozownia na 8 pojazdów.

Początki rezydencji Ogińskich przypadają na rok 1677, kiedy to podkomorzy witebski, Szymon Karol Ogiński (zm. 1699), zakupił dom od Kuszelińskich. Nie można wykluczyć, że za wyborem miejsca stało nie tylko wygodne usytuowanie względem bramy Rudnickiej i bliskość rynku, ale także sąsiedztwo trzech kościołów związanych z karmelitami - trzewiczkowymi i bosymi. Ogiński słynął bowiem ze swojej pobożności oraz wspierania właśnie tych zakonów. Stał się nawet fundatorem klasztoru św. Teresy na Rybakach - przedmieściu położonym za Wilią.

Nieruchomość odziedziczyła trzecia żona Ogińskiego, Teresa z Woynów, ciotka przyszłego króla Stanisława Poniatowskiego. Później pałac znalazł się w rękach Marcjana Michała Ogińskiego (1672-1750), piątego z kolei syna Szymona Karola. W kolejnych dekadach skupywał on sąsiednie kamienice prowadząc w nich jednocześnie remont. Tuż przed śmiercią wojewoda witebski zapisał pałac najstarszemu synowi - Ignacemu (ok. 1698-1775). Pozostałe nieruchomości leżące pomiędzy ulicami Końską i Rudnicką podzielił zaś między młodszych synów z pierwszego małżeństwa z Teresą z Brzostowskich (zm. 1721): Tadeusza Franciszka (1712-1783) i Kazimierza (zm. 1769). Kazimierz 28 kwietnia 1751 r. swoją część sprzedał Ignacemu, który trzy lata później pozyskał też realność od Tadeusza Franciszka.

Ignacy Ogiński jeszcze w 1753, 1755 i w 1758 r. skupował okoliczne nieruchomości, zamykając nieregularny, ale imponujący obszar związany z traktami reprezentacyjnymi, bo położony pomiędzy dwiema ulicami usytuowanymi na tyłach placu ratuszowego. Obie części - od Rudnickiej i od Końskiej, były podpiwniczone i miały formę odwróconych względem siebie niekształtnych liter U. Siedziba położona była więc na osi wschód-zachód z częścią reprezentacyjną od strony ul. Końskiej. Bryła od ul. Rudnickiej otrzymała ostateczny, trójkondygnacyjny kształt na początku lat 70. XVIII w. i do dziś zachowała swój późnobarokowy charakter. Jej centralna część z bramą wjazdową jest cofnięta. Ma też zaokrąglone naroża z dynamicznie ukształtowanym gzymsem. Elewację, również od dziedzińca, ożywiają płyciny o wykrojonych narożach, wydzielając poszczególne kondygnacje. Centralną część ponad bramą ujęto lizenami, a przyziemie wzbogacono boniami. Od dziedzińca w dolnej kondygnacji na całej szerokości budynku znajdują się arkadowe podcienie.

Jeszcze w roku 1749 r. Ignacy Ogiński kupił spalone i „puste” domy przy ul. Końskiej, naprzeciw pałacu. Najpóźniej w 1765 r. nakazał je zburzyć i zorganizował krótką, ale szeroką uliczkę prowadzącą wprost z rezydencji na ul. Ostrobramską, zamykając widok z niej fasadą pałacu. W ten sposób zmieniła się w zasadniczy sposób okolica przed Ostrą Bramą, która była już wówczas uznanym sanktuarium Wileńszczyzny i jednym z wejść wykorzystywanych do paradnych wjazdów do stolicy litewskiej. Zamknięcie widoku nowej ulicy fasadą pałacu tworzyło scenograficzne rozwiązania w przestrzeni miasta. Widok na pałac wykreowano w sposób osiowy i tunelowy. W ten sposób oddziaływano przestrzenią na widza, a pałac stał się ważnym elementem urbanistycznym w tej części Wilna.

Aktywność Ignacego Ogińskiego i jego żony Heleny (ok. 1700-1792), o której mówiono, że jest „damą piękną, mądrą i [tak] wielkiej siły, że podkowy łamać mogła”, wiązała się z podejmowanymi przez nich licznymi fundacjami w dobrach własnych, a także w Warszawie. Po nich, jako bezdzietnych, dziedziczyła najbliższa rodzina, w tym synowie Tadeusza Franciszka - Andrzej Ignacy (1740-1787) i Franciszek Ksawery (1742-1814).

W latach 1807-1808 gmach pałacu od ul. Końskiej był przebudowywany przez ówczesnego właściciela Michała Kleofasa Ogińskiego (1765-1833), syna Andrzeja Ignacego. Ten udany kompozytor i świetnie wykształcony człowiek nadał tej części pałacu modny, klasycystyczny wygląd, dostosowując jednak fasadę do widoku z ul. Ostrobramskiej.

W 1828 i w 1835 r. pałac ze względu na długi Ogińskiego był wystawiany (częściowo) na sprzedaż i zarekwirowany przez carat w związku z jego udziałem w powstaniu listopadowym. W latach 1833-1859 siedziba była własnością Ireneusza Kleofasa Ogińskiego (1808-1863). Przebudowywano ją w latach 1840-1850, stawiając na dziedzińcu mieszkalną oficynę, która podzieliła go na dwie nierówne części, zacierając wielkopański charakter rezydencji.

Po Ireneuszu Kleofasie dziedziczył Michał Mikołaj Ogiński (1849-1902), a później krewny jego żony Marii - Karol Janusz Skórzewski (1897-1977). Podczas II wojny światowej w gmachu mieściły się różnorodne instytucje związane z utworzonym przez Niemcy gettem żydowskim. Pałac został znacznie zniszczony podczas działań wojennych. Odbudowany, od 1975 r. znajdują się w nim teatr, mieszkania, a także pomieszczenia usługowe.