Палац Поцея (Горського) має один з найкрасивіших класицистичних фасадів у Вільнюсі. Елегантний і скромний, він є візитною карткою відомого архітектора Августина Коссаковського, який також працював на короля Станіслава Августа.

Палац розташований у самому центрі старого Вільнюса, поруч з Ратушею і Казначейством, а також костелом Святого Миколая і єврейським кварталом.

Заснування представницької резиденції на цьому місці пов'язане з особою Матвія Ворбека Леттова (пом. 1624 р.), який походив зі збіднілої протестантської шляхти, що оселилася в Ельблазі. Пізніше його син Матіас (1593-1663), добре освічений лікар Владислава IV, був власником резиденції. Тоді резиденція являла собою двоповерхову будівлю з чотирнадцятьма кімнатами і мала доступ до водопроводу. На подвір'ї була дерев'яна стайня на чотири коні, а також фруктовий сад. Їдальня, де відбувалися "бенкети", в яких брали участь кальвіністи Кшиштоф ІІ Радзивілл (1585-1640) та Кішки на чолі з римо-католицьким єпископом Самогитським Станіславом (помер у 1626 р.), розташовувалася на першому поверсі, тоді як цокольний поверх використовувався для господарських потреб. Одну з його кімнат займала аптека.

Очікуючи на окупацію Вільнюса московитами, у 1655 році Матіас Ворбек-Леттов спакував "на вози" не лише найцінніші речі, але й бібліотеку "чудових авторів вартістю в кілька тисяч", але втратив принаймні частину цього майна через грабунок "жовнірів пана Поклонського". Цей факт він детально описав у своєму щоденнику.

Відновлений після воєнних лихоліть палац перейшов до рук синів Матіаса Ворбек-Летта - Олександра (нар. 1642 р.) та Христофора (нар. 1621 р.), які, як і їхній батько, належали до лютеранської еліти міста. Після 1701 року резиденція вже належала родині Поцеїв, найімовірніше, завдяки Анні, дочці Олександра Ворбека-Леттова, першій дружині Казимира Олександра Поцея (1666-1728), каштеляна і вітебського воєводи.

Казимиру Олександр успадкував його син Олександр (пом. 1770), "не знайомий ні з філістерством, ні з великим світом", але ефективний фермер. У 1748 і 1749 роках палац згорів під час великої пожежі міста. Невідомо, коли саме резиденція перейшла до рук Міхала Юзефа Горського (пом. 1776 р.), каштеляна Самогитського. Разом з дружиною Анною, уродженою Войн, він вів активне громадське життя не лише у своєму маєтку в Біринянах, але й у Вільнюсі, звідси й виникла потреба в організації резиденції. Горські взялися за реконструкцію палацу за проектом Августина Коссаковського (1737-1803). Палац отримав один з найкрасивіших ранньокласичних фасадів у Вільнюсі. Щоб підкреслити симетрію будівлі, його автор згрупував три віконні прорізи по осі, але в'їзну браму залишив - як і в оригіналі - трохи зміщеною вправо. Фасад був оздоблений рустом, з фризом у вигляді меандру і зубців, що відсікає верхні поверхи від комерційної частини в цокольному поверсі плавним, широким фризом. З іншого боку, репрезентативний фортепіанний нобіле на другому поверсі відкритий і увінчаний трикутними фронтонами.