Палац, розташований на Ринковій площі Вільнюса, у безпосередній близькості до костелу Святого Казимира, був збудований у 1782-1786 роках за проектом Августина Коссаковського для родини Абрамовичів гербу Ястшембець (вар.). Перед 1749 р. маєток у центральній частині Вільнюса придбав Анджей Абрамович, литовський писар і каштелян Бжеськолицький, споріднений з Радзивіллами, а успадкував його бездітний брат Єжи (пом. 1767 р.), староста стародубівський і стольник віленський, активний сеймиковий діяч. Палац будувала заповзятлива і підприємлива дружина Юзефа, Мар'яна з Дерналовичів, яка "попрактикувалася не на одній стіні".

Перед будівництвом палацу Абрамовичів було вирішено знести попередні будівлі 17 століття, що стояли на ділянці, щоб нова будівля мала правильний і симетричний план. У квітні 1783 року було закладено фундаменти, а восени наступного року вже складалися плани поверхів. Августин Коссаковський спроектував підвальну резиденцію, розташовану на осі схід-захід у фасадній лінії забудови, на П-подібному плані, зі сходами у південній частині. Перед 1797 р. короткі частини бічних флігелів були розширені і обнесені зі східного боку флігелем на приблизно трикутному плані та мурованою огорожею. Корпус палацу був первісно двоповерховим з мезоніном, двосхилим, на першому поверсі за схемою перехресних коридорів, з в'їзною брамою на осі, перекритий двосхилим ламаним дахом. Флігелі - одноарочні. Фасад палацу, шириною майже 32 м, мав коринфський псевдопортик. Поверхи були розділені фільонками, а антресолі відокремлював багатий акантовий фриз.

У 1801-1806 роках палац був модернізований за розпорядженням Миколи Абрамовича (1788-1835), онука перших інвесторів Георгія і Мартіанни, кавалера офіцерського хреста Почесного легіону, камергера російського двору і маршалка дворянства Віленського повіту, який ".Щоб не сидіти без діла, він вишивав на полотні капці для своєї милої дружини [Емілії, уродженої Бахмінської (1768-1844)], або шив кошики, володіючи мистецтвом шорництва,

Він був добре обізнаний з мистецькою модою і славився вмінням вести домашнє господарство та відмінним смаком. Вільнюський палац, як і інша резиденція Миколи Абрамовича у Ворнянах, був обставлений пишно, але зі смаком. В обох резиденціях маршал влаштовував дні відкритих дверей. У податковому переписі 1806 року, коли завершився ремонт, який стосувався переважно інтер'єру, зазначено, що палац мав 22 більші та 11 менших кімнат. Стайня була розрахована на 15 коней, а каретний двір - на чотири екіпажі. Однак, після повернення додому з наполеонівських війн, у 1814р. Микола Абрамович вирішив продати палац. Він знайшов покупця в особі Антонія Ваньковича.

У 1844 році будівля перейшла у власність православної консисторії. У 1853-1860 роках під керівництвом Томаша Тишецького (1824-1861), відомого архітектора-композитора, який виконував обов'язки єпархіального архітектора, було проведено реконструкцію споруди, яка включила її в структуру костелу св. Казимира - тоді ще православного храму. На фасаді з'явився фронтон, а форма даху була змінена. Коринфські колони замінили на іонічні, а їхні цоколі значно знизили. Крім того, на фасаді з'явилися іонічні пілястри великого ордеру, а також на фасаді, зверненому до костелу св. Казимира. Тут також були пробиті віконні прорізи. Зміни північного фасаду стали наслідком знесення передньої частини єзуїтського корпусу, що дозволило відкрити площу перед костелом (православною церквою) безпосередньо на вулицю, але також оголило північну стіну палацу, яка до того часу була прихована. Отже, виникла необхідність її забудови.

Крім того, під час реконструкції, здійсненої Тишецьким, мезонін було обрамлено пілястрами з видозміненою головкою з канелюрами. На осі фасаду архітектор ввів квіткові гірлянди, а в портику - розетки і левові голови. Таким чином, фасад палацу втратив свою суворість на користь декоративності, яка більше відповідала смакам середини 19 століття.

У 1914-1915 роках палац Абрамовичів був резиденцією литовського православного архієпископа Тихона (Василя Белавіна, 1865-1925), який у 1917 році був обраний Патріархом Московським і згодом став святим православної церкви. У міжвоєнний період будівля належала єзуїтам, її здавали в оренду під квартири, школу (мезонін), кінотеатр (південне крило), офіси та бійню (південне крило), серед іншого. Під час Другої світової війни палац не зазнав значних пошкоджень, а після закінчення війни в ньому розміщувалися різні установи та служби. Наразі він занедбаний і чекає на нового господаря.