Ta jedna z najbardziej charakterystycznych dziewiętnastowiecznych wileńskich siedzib jest świadectwem rozwoju miasta mimo niesprzyjających czasów carskich zaborów. W jego przestronnych wnętrzach bawiono się i spiskowano, a także prezentowano kolekcję cennych pamiątek historycznych i okazów przyrodniczych.

Pałac usytuowany był na końcu jednej z ważniejszych arterii Wilna, która wychodziła z ul. Zamkowej i, mijając ulice Niemiecką i Wileńską, prowadziła do bramy Trockiej. Tuż przy niej, przylegając do murów miejskich, mieściła się parcela o kształcie nieregularnego trójkąta, która początkowo była w posiadaniu wileńskich mieszczan. Od 1536 r. nieruchomość dzierżyli kolejni przedstawiciele polsko-litewskich elit, poczynając od Aleksandra Sanguszki (ok. 1508-1565). U schyłku XVIII w. była własnością Ignacego Karpia (1780-1809), człowieka majętnego, a przy tym świetnie wykształconego i odznaczającego się duchem patriotycznym. Nie pozostając obojętnym na sprawy społeczne wyzwolił chłopów, co odnotował Adam Mickiewicz w „Panu Tadeuszu”:

„Tylko ostrzegam byśmy wolności nie dali
Pustej i słownej tylko, jako za moskali,
Kiedy Pan Karp nieboszczyk włościan oswobodził,
A moskal ich podatkiem potrójnym ogłodził,
Radzę więc, aby chłopów starym obyczajem
Uszlachcić, i ogłosić że im herb nasz dajem”.

Zapisem testamentowym z 1808 r. Ignacy Karp przekazał pałac siostrze Mariannie Plater (1777-1828). Jednak ostatecznie siedziba trafiła do rąk jego drugiej siostry - Joanny (1778-1816) zamężnej z Michałem Tyszkiewiczem (1761-1839) z linii na Łohojsku. Po śmierci rodziców właścicielem pałacu stał się w 1839 r. młodszy z ich synów, Józef (1805-1844), a w 1843 r. Jan Konstanty (1801-1862).

Znaczne zmiany w wyglądzie siedziby dokonano pomiędzy 1829 r. a 1834 r., kiedy była własnością Józefa Tyszkiewicza, i kiedy nie istniała już brama miejska, zniesiona w latach 1803-1804. Rzutki właściciel Waki Trockiej kazał rozebrać stare zabudowania, a na ich miejscu, uznany architekt wileński Tomasz Tyszecki (1824-1861) wzniósł pałac, łącząc nowy gmach ze starymi oficynami. W 1857 r. Nikołaj Czagin (1823-1909) dobudował do fasady balkon wsparty na dwóch atlantach, kreując jedną z najbardziej rozpoznawalnych dziewiętnastowiecznych fasad pałacowych miasta. Stąd zwano go Domem pod Bałwanami.

Siedziba Tyszkiewiczów, szczególnie po zamknięciu Akademii Wileńskiej, odgrywała na kulturalnej i naukowej mapie Wilna ważną rolę. Mieściło się w nim Muzeum Starożytności ze zbiorami znanego historyka, archeologa i krajoznawcy Eustachego Tyszkiewicz (1814-1873). U schyłku XIX w. pałac sprzedano Wendorffom. W okresie międzywojennym należał do Bukowskich, dzięki wejściu do rodziny Marii Anieli z Wendorffów (zm. 1935). Po II wojnie światowej w pałacu mieściła się szkoła, a obecnie jest on siedzibą wydziału architektury Vilniaus Gedimino technikos universitetas.

W pałacu zachowane są fragmenty malowideł, piece i częściowo także stolarka drzwiowa z drugiej ćwierci XIX w. i dekad późniejszych, a na elewacjach stiukowa dekoracja z lat 30. i 50 XIX w.