Pałac Łopacińskich (wcześniej Zenowiczów) usytuowany jest w jednym z bardziej malowniczych zaułków Wilna, tuż obok zespołu trzech klasztorów bernardyńskich z kościołami pw. św. św. Franciszka i Bernardyna oraz Michała Archanioła, a także kościołem pw. św. Anny. Kiedyś w jego bezpośrednim sąsiedztwie stał także zbór kalwiński (do 1640) z rozległym cmentarzem ewangelików-reformowanych.

Pałac stanął na dwóch parcelach, które na początku XVIII w. połączyła rodzina Zenowiczów herbu własnego, używająca przydomka Despot, co miało przypominać, że zgodnie z legendą pochodzili od władców Serbii, którego przedstawiciel w obliczu nawały tureckiej uciekł do Litwy. Pałac z obszernym, kwaterowym ogrodem wystawił wojewoda miński Krzysztof Zenowicz (zm. 1717). Bliżej Wilejki ogród w typie francuskim łączył się z ogrodem o charakterze użytkowym, gdzie znajdował się budynek gospodarczy, w dalszym widoku siedziba otwierała się na ogród bernardyński i rozlewiska mocno meandrującej w tym miejscu rzeki, a przede wszystkim na Zamek Górny. Prace dla Krzysztofa Zenowicza mógł prowadzić Giovanni Pensa (zm. 1716) - Włoch mieszkający na stałe w Wilnie, który z fundacji wojewody stawiał w Zaświrzu kościół karmelitów trzewiczkowych (1713-1714, konsekracja 1766). Wybór i wzajemne powiązanie fundacji wydaje się być oczywiste, choć jak na razie nie odnaleziono archiwaliów potwierdzających tę hipotezę.

Pałac Zenowiczów spłonął w wielkim pożarze miasta w 1748 r. W 1762 r. realność należała już do Mikołaja Tadeusza Łopacińskiego (1715-1778) związanego politycznie z Sapiehami i Czartoryskimi, założyciela linii wojewodzińskiej rodu. Za jego czasów pałac był przekształcany według projektu Johanna Christopha Glaubitza (ok. 1710-1767), który wykonał szereg prac dla biskupa żmudzkiego Jana Dominika, brata wojewody brzeskolitewskiego. Z zachowanej korespondencji Łopacińskich wynika, że biskup żmudzki nie tylko wskazał architekta, ale też interesował się postępami prac przy inwestycji wileńskiej, wspierając organizacyjnie i finansowo Mikołaja Tadeusza.

Po śmierci architekta i budowniczego prace kontynuował Jan Wilhelm Frezer (zm. 1772), wywodzący się z artystycznej, pruskiej rodziny osiadłej w Wilnie w latach 20. XVIII w. To jemu pałac zawdzięcza swój ostateczny kształt. Prace ukończono w 1768-1769 r. Nieregularny plan budynku i charakterystyczne załamanie lica fasady wraz z układem piwnic wskazują, że jego zasadniczą formę tworzyły starsze mury. Mimo przebudowy siedziba zachowała więc swój nieregularny rzut z dwoma skrzydłami. Bryła pałacu została nakryta dachem mansardowym, a ściany ozdobiła rustyka.

Spadkobiercą wojewody mścisławskiego był jego syn - Jan Nikodem Łopaciński (1747-1810), sprawny rysownik i rytownik, który podjął się prac modernizujących. Wiadomo, że w ogrodzie przypałacowym znajdowały się wówczas figury z terakoty. W 1801 r. właścicielem siedziby był jego młodszy brat, sufragan żmudzki Józef Leon, bo też Jan Nikodem wystawił sobie obszerniejszy i bardziej reprezentacyjny pałac niemal bezpośrednio przy zamku i katedrze (niezachowany). Dość szybko Józef Leon Łopaciński sprzedał realność biskupowi Janowi Nepomucenowi Kossakowskiemu. Ten przed wyjazdem do Baden, gdzie wkrótce zmarł, pałac nieznacznie przebudował, dodając m.in. dwukondygnacyjną arkadową loggię po zachodniej stronie korpusu pałacowego oraz niską wieloboczną szkarpę w jego północno-zachodnim narożniku. Nie można wykluczyć, że polecił też przekomponować ogród w kierunku układu swobodnego.

W latach 1819-1828 budowla pozostawała w rękach grafa Narcyza Olizara (1794-1862), absolwenta Uniwersytetu Wileńskiego, powstańca listopadowego, literata i publicysty, emigranta. Następnie właścicielem pałacu był Józef Zawadzki (1781-1838), uznany wydawca wileński. W latach 1886-1889 pałac był przebudowywany przez Wincentego Górskiego (1848-po 1901) z wystawieniem nowej bramy, a także oficyny po stronie zachodniej. W 1910 r. prace remontowe w pałacu prowadził Wacław Michniewicz (1866-1947). W XIX i w pierwszej połowie XX w. kolejni posesorzy znaczną część domu wynajmowali lokatorom. Jedno z mieszkań zajmował m.in. malarz Ferdynand Ruszczyc (1870-1936)