Pałac Pociejów (Gorskich) ma jedną z piękniejszych klasycystycznych fasad Wilna. Elegancka i skromna jest znakiem rozpoznawczym uznanego architekta Augustyna Kossakowskiego, który pracował także dla króla Stanisława Augusta.

Pałac położony jest w samym centrum starego Wilna, tuż obok ratusza i domu skarbowego, a także kościoła pw. św. Mikołaja i kwartału zajmowanego przez Żydów.

Powstanie reprezentacyjnej siedziby w tym miejscu wiąże się z osobą Mateusza Vorbek Lettowa (zm. 1624), wywodzącego się ze zubożałej, protestanckiej szlachty osiadłej w Elblągu. Potem dzierżył ją jego syn Maciej (1593-1663), gruntownie wykształcony lekarz Władysława IV. Siedziba była wówczas dwukondygnacyjna z czternastoma izbami i posiadała dostęp do bieżącej wody. W podwórzu ustawiona była drewniana stajnia na cztery konie, a także uprawiany był sad. Izba stołowa, gdzie urządzano „bankiety”, na których bywali kalwiniści Krzysztof II Radziwiłł (1585-1640) oraz Kiszkowie z rzymskokatolickim biskupem żmudzkim Stanisławem (zm. 1626) na czele, urządzono na piętrze, podczas gdy parter pełnił funkcje użytkowe. Jedno z jego pomieszczeń zajmowała apteka.

Spodziewając się zajęcia Wilna przez Moskali, Maciej Vorbek-Lettow w 1655 r. spakował „na wozy” nie tylko najcenniejsze przedmioty, ale też bibliotekę „wybornych autorów wartą kilkunastu tysięcy”, dobytek ten jednak przynajmniej w części utracił za sprawą rabujących „żołdaków pana Pokłońskiego”. Fakt ten opisał z detalami w swoim pamiętniku.

Odnowiony po wojennych zawieruchach pałac znalazł się następnie w rękach synów Macieja Vorbek-Lettowa: Aleksandra (ur. 1642) i Krzysztofa (ur. 1621), którzy tak jak ojciec należeli do luterańskiej elity miasta. Po 1701 r. siedziba należała już do Pociejów, najpewniej za sprawą Anny córki Aleksandra Vorbek-Lettowa, pierwszej żony Kazimierza Aleksandra Pocieja (1666-1728), kasztelana i wojewody witebskiego.

Po Kazimierzu Aleksandrze dziedziczył syn Aleksander (zm. 1770), „nie znający filuterii ani wielkiego świata”, ale za to sprawny gospodarz. W 1748 i 1749 r. pałac płonął w wielkim pożarze miasta. Nie wiadomo, kiedy dokładnie rezydencja znalazła się w rękach Michała Józefa Gorskiego (zm. 1776), kasztelana żmudzkiego. Wraz z żoną Anną z Woynów prowadził on aktywne życie towarzyskie nie tylko w swym majątku ziemskim w Birżynianach, ale i w Wilnie, stąd potrzeba organizacji rezydencji. Gorscy podjęli przebudowę pałacu według projektów Augustyna Kossakowskiego (1737-1803). Siedziba zyskała wówczas jedną z ładniejszych wczesnoklasycystycznych fasad Wilna. Jej twórca, chcąc podkreślić symetryczność budynku, zgrupował na osi trzy otwory okienne, jednak bramę wjazdową pozostawiono - oryginalnie - nieco przesuniętą w prawą stronę. Elewację ozdobiono boniowaniem, z fryzem w formie meandra i ząbkowaniem, odcinając wyższe kondygnacje od handlowej części w przyziemiu gładkim, szerokim fryzem. Z kolei reprezentacyjne piano nobile na piętrze wyeksponowano, wieńcząc okna trójkątnymi naczółkami.