Pałac położony przy wileńskim rynku, w bezpośrednim sąsiedztwie kościoła pw. św. Kazimierza, wzniesiony został w latach 1782–1786 według projektu Augustyna Kossakowskiego dla Abramowiczów herbu Jastrzębiec (odmiana). Andrzej Abramowicz, pisarz litewski i kasztelan brzeskolitewski związany z Radziwiłłami, przed 1749 r. zakupił nieruchomość w centralnej części Wilna, a dziedziczył po nim jako po bezdzietnym brat Jerzy (zm. 1767), starosta starodubowski i stolnik wileński, aktywny aktor sejmikowy. Pałac postawiła rzutka i przedsiębiorcza, mająca „nie na jednych murach praktykę” wdowa po Jerzym – Marcjanna z Dernałowiczów.

Przed budową pałacu Abramowiczów zdecydowano się na rozebranie wcześniejszych, siedemnastowiecznych gmachów, stojących na parceli, aby nowy odznaczał się regularnością planu i symetrią. Fundamenty kładziono w kwietniu 1783 r., a jesienią rok później interesowano się już projektami podłóg. Augustyn Kossakowski zaprojektował podpiwniczoną siedzibę, usytuowaną na osi wschód-zachód w linii zabudowy pierzejowej, na rzucie litery U, z klatką schodową w południowej części. Przed 1797 r. krótkie odcinki skrzydeł bocznych zostały powiększone i zamknięte od strony wschodniej oficyną na planie zbliżonym do trójkąta oraz murem ogrodzenia. Korpus pałacu był pierwotnie dwukondygnacyjny z mezzaninem, dwutraktowy, na parterze w schemacie krzyżowo-korytarzowym, z bramą wjazdową na osi, nakryty dwuspadowym, łamanym dachem. Skrzydła były jednotraktowe. Fasada pałacu, szeroka prawie na 32 m miała koryncki pseudoportyk. Kondygnacje oddzielały płyciny, a mezzanino wydzielono bogatym fryzem akantowym.

W latach 1801–1806 pałac modernizowano na polecenie Mikołaja Abramowicza (1788–1835), wnuka pierwszych inwestorów – Jerzego i Marcjanny, kawalera krzyża oficerskiego Legii Honorowej, szambelana dworu rosyjskiego i marszałka szlachty powiatu wileńskiego, który „by nie próżnować, haftował pantofelki na kanwie dla swojej ślicznej żony [Emilii z Bachmińskich (1768–1844)], lub szył kobiałki rymarską sztuką; śliczne też były koszyczki,

które plótł z delikatnych błon leszczyny”, jak wspominała Gabriela Puzynina w pamiętnikach z lat 1815–1843. Orientując się w artystycznych modach, słynął z gospodarskich umiejętności i doskonałego smaku. Pałac wileński, tak jak inna siedziba Mikołaja Abramowicza – Worniany, był urządzony z przepychem, lecz gustownie. W obu rezydencjach marszałek prowadził dom otwarty. W spisie podatkowym za 1806 r., a więc w roku ukończenia remontu, który objął przede wszystkim wnętrza, stwierdzono, że w pałacu znajduje się 22 większych i 11 mniejszych pokoi. Stajnia przeznaczona była na 15 koni, a wozownia na 4 pojazdy. Jednak po powrocie do kraju z wojen napoleońskich, w 1814 r. Mikołaj Abramowicz postanowił pałac sprzedać. Jego nabywcę znalazł w osobie Antoniego Wańkowicza.

W 1844 r. gmach stał się własnością duchownego konsystorza prawosławnego. W latach 1853–1860 pod kierunkiem Tomasza Tyszeckiego (notowany 1824–1861) wziętego architekta-kompilatora, pełniącego funkcję architekta eparchialnego, podjęto przebudowę gmachu, włączając go w strukturę zabudowy kościoła pw. św. Kazimierza – wówczas cerkwi. W fasadzie wprowadzono szczyt i zmieniono kształt dachu. Kolumny korynckie zostały zastąpione przez jońskie, a ich cokoły znacznie obniżono. Ponadto w fasadzie i w elewacji od strony kościoła pw. św. Kazimierza pojawiły się jońskie pilastry w wielkim porządku. Tu także przebito otwory okienne. Zmiany związane z elewacją północną były efektem zburzenia frontowej części kamienicy jezuitów, co pozwoliło na otwarcie placyku przed świątynią (cerkwią) wprost na ulicę, ale wyeksponowało zakrytą do tej pory ścianę północną pałacu. Stąd koniecznie stało się jej opracowanie.

Ponadto podczas przebudowy prowadzonej przez Tyszeckiego mezzanino ujęto pilastrami o modyfikowanej głowicy z kanelurami. Na osi fasady architekt wprowadził roślinne girlandy, a w portyku rozety i głowy lwów. Fasada pałacu straciła więc swoją surowość na rzecz dekoracyjności lepiej odpowiadającej gustom połowy XIX w.

W latach 1914–1915 pałac Abramowiczów był rezydencją litewskiego prawosławnego arcybiskupa Tichona (Wasilija Belawina, 1865–1925), którego w 1917 r. obrano patriarchą Moskwy, późniejszego świętego cerkwi prawosławnej. W międzywojniu budynek należał do jezuitów, wynajmowany był m.in. na mieszkania, szkołę (mezzanino), kinematograf (skrzydło południowe), biura, a także na rzeźnię (skrzydło południowe). Podczas II wojny światowej pałac nie uległ większym zniszczeniom, a po jej zakończeniu mieściły się w nim różne instytucje i usługi. Obecnie jest opuszczony, czekając na nowego gospodarza.