Палац Лопачинських (колишній палац Зеновичів) розташований в одному з наймальовничіших провулків Вільнюса, поруч з комплексом трьох бернардинських монастирів з костелами Святого Франциска і Святого Бернардина та Святого Архангела Михаїла, а також костелом Святої Анни. Свого часу в безпосередній близькості від нього також знаходилася кальвіністська громада (до 1640 р.) з великим цвинтарем для реформатських євангелістів.

Палац стояв на двох земельних ділянках, які на початку 18 століття об'єднала родина Зеновичів з власним гербом, використовуючи прізвисько Деспот, щоб нагадати, що, за легендою, вони походили від правителів Сербії, представник якої втік до Литви перед обличчям турецького вторгнення. Палац з великим квадратним садом був побудований мінським воєводою Кшиштофом Зеновичем (пом. 1717 р.). Ближче до Вілейки сад французького типу зливався з садом утилітарного характеру, де знаходився флігель, а в подальшому резиденція виходила на бернардинський сад і заплави сильно звивистої річки, що тут протікає, і, перш за все, на Верхній замок. Можливо, роботу для Кшиштофа Зеновіча виконував Джованні Пенса (пом. 1716 р.), італієць, який постійно проживав у Вільнюсі, а на фундацію воєводи збудував костел відщепенців кармелітів у Засвіжі (1713-1714 рр., освячення 1766 р.). Вибір і взаємозв'язок фундацій видається очевидним, хоча поки що не знайдено жодних архівних матеріалів, які б підтверджували цю гіпотезу.

Палац Зеновичів згорів під час великої пожежі міста у 1748 р. У 1762 р. маєток вже належав Міколаю Тадеушу Лопачинському (1715-1778), політично пов'язаному з родинами Сапєг та Чарторийських і засновнику воєводської лінії роду. За його правління палац було перетворено за проектом Йоганна Крістофа Глаубіца (бл. 1710-1767), який виконав низку робіт для самогитського єпископа Яна Домініка, брата воєводи-бжесколіта. Збережене листування родини Лопачинських свідчить, що самогитський єпископ не лише вказав архітектора, але й цікавився перебігом робіт на віленській інвестиції, підтримуючи Ніколауса Тадеуша організаційно та фінансово.

Після смерті архітектора і будівничого роботу продовжив Ян Вільгельм Фрезер (пом. 1772), який походив з мистецької прусської родини, що оселилася у Вільнюсі в 1720-х роках. Нерегулярний план будівлі і характерний злам фасаду, а також розташування підвалів вказують на те, що її основну форму створили старіші стіни. Тому, незважаючи на реконструкцію, резиденція зберегла свій нерегулярний план з двома крилами. Тіло палацу було вкрите мансардним дахом, а стіни оздоблені рустом.

Спадкоємцем мстиславського воєводи став його син Ян Никодим Лопачинський (1747-1810), вправний рисувальник і гравірувальник, який взявся за модернізацію палацу. Відомо, що в той час у палацовому саду стояли теракотові фігури. У 1801 році резиденція перейшла у власність його молодшого брата, самогитського суфрагана Йозефа Леона, оскільки Іоанн Никодим збудував собі просторіший і репрезентативніший палац майже впритул до замку і собору (не зберігся). Досить скоро Юзеф Леон Лопачинський продав нерухомість єпископу Яну Непомуцену Коссаковському. Той трохи перебудував палац перед від'їздом до Бадена, де невдовзі помер, добудувавши, серед іншого, двоповерхову аркадну лоджію на західній стороні корпусу палацу та невисокий багатокутний шпиль у його північно-західному куті. Не виключено, що він також наказав перепланувати сад, надавши йому вільної форми.

У 1819-1828 роках будівля перебувала у власності графа Нарциса Олізара (1794-1862), випускника Віленського університету, учасника Листопадового повстання, письменника і публіциста, емігранта. Пізніше палац належав Юзефу Завадському (1781-1838), відомому віленському видавцю. У 1886-1889 роках палац перебудував Вінцентій Горський (1848 - після 1901) зі зведенням нової брами, а також флігеля із західного боку. У 1910 р. реставраційні роботи в палаці провів Вацлав Міхневич (1866-1947). У 19-му та першій половині 20-го століття наступні власники здавали значну частину будинку в оренду орендарям. Одну з квартир займав, зокрема, художник Фердинанд Рущик (1870-1936).