Палац, який понад 200 років належав родині Ходкевичів, був розташований у самому центрі Вільнюса, на кордоні civitas Ruthenica, тобто території, де з 13-14 століття розвивалося руське поселення. Резиденція стояла безпосередньо на престижній вулиці Via Regia, поруч із церквою Святої Параскеви (П'ятницької) з цвинтарем, шпиталем і житловими будинками, виділяючись серед міщанської забудови, що стояла поруч, і конкуруючи з сусіднім гетьманським палацом Пакас на протилежному боці.

На місці палацу однієї з найвидатніших литовських родин раніше стояла цегляна будівля, датована 15 століттям. Ймовірно, його придбав незадовго до 1600 року Ян Кароль Ходкевич (1561-1621), на той час литовський посол і староста Самогитський, а згодом гетьман (1600 і 1605 рр.) і віленський воєвода (1616 р.).

Відомий як литовський Ахіллес, видатний полководець, а також фортифікатор (Лаховичі, Старий Бичів) і фундатор костелів та монастирів (бернардинців у Кретинці, єзуїтів у Крожі), Ян Кароль Ходкевич у наступні роки постійно збільшував площу свого маєтку, приєднуючи до нього сусідні земельні ділянки. Роботи над палацом тривали навіть після 1609 року, а художник Кацпер (Гаспар) брав активну участь у цій та інших інвестиціях гетьмана.

Роботу з розширення маєтку продовжив спадкоємець Ходкевича, син його дядька Ієроніма з роду Супрасльських - Кшиштоф (пом. 1652), каштелян віленський (1636) і воєвода віленський (1642). 19 вересня 1643 року він подав клопотання про демаркацію межі між територією, що належала палацу, і власністю православної церкви Святої Параскеви. З документа видно, що віленський воєвода власним коштом збудував межовий мур, біля якого були зведені дерев'яні житлові та господарські будівлі. Передбачалося також спільне облаштування криниці та... туалету, за які мав заплатити Ходкевич.

Резиденцію, зруйновану під час московської окупації, відбудували у 1760-70-х роках. У той час ремонтні роботи проводили, зокрема, орендарі, яких придбав наступний власник - литовський протестант Єжи Кароль Ходкевич (1646-1691) та його мати Ізабела, уроджена Лацке. Фасад резиденції був прикрашений фігурами драконів, звідси палац отримав назву "Під Смоками" ("Під Драконами"). У 18 столітті їхні зображення слугували пуропами.

Значних змін палац зазнав за часів Яна Миколая Ходкевича, від якого походять сучасні представники роду. Після розширення ділянки за рахунок сусідньої будівлі з боку костелу Святої Параскеви, резиденцію перебудував Абрагам Вюрцнер у 1754-1762 роках. Контракт з архітектором було підписано 10 лютого 1754 року, а роботи над дахом завершилися в серпні наступного року. Згідно зі збереженими свідченнями, бували тижні, коли біля стін стояло 7-8 мулярів та їхніх помічників під наглядом таких майстрів-каменярів, як Миколай Вишневський, Марцін Русевич і Марцін Сірквич, а також самого архітектора, якого іноді заміняв його колега Францішек Офферт.

В результаті проведених робіт до двоповерхової і двопрогонової споруди, побудованої на приблизно прямокутному плані, тобто сформованому ще в 17 столітті, в центральній частині прибудували мезонін. Будинок був увінчаний трьома ліпними фронтонами, з яких на центральному, тобто над найвищою частиною, містився родовий герб Ходкевичів. Мансардний дах був вкритий черепицею, а на осі фасаду розміщена брама з хрестовим склепінням. Сходи, що вели на парадний поверх (piano nobile), розташовувалися в південному крилі. Найбільша зала була розташована в парадному проїзді, над брамою. Вона була з'єднана з буфетом, який слугував місцем для зберігання посуду і приготування страв перед подачею. Палац був оточений флігелями з житловими та господарськими функціями.

У 1812 році палац перейшов у власність Войцеха Пусловського (1762-1833), депутата Чотирирічного сейму, а також вправного підприємця, який заробив мільйонні статки, зокрема, скуповуючи напівзруйновані маєтки та організовуючи різні виробництва. Він також виконував будівельні роботи від імені уряду у тодішній Віленській академії. Саме за його часів остаточно сформувався класичний характер будівлі - конгломерат парадного палацового корпусу, флігелів і флігелів, які оточують нерегулярний двір, що нагадує літеру Т, що простягнувся між вулицями Великою (вул. Діджіой) і Савича II (вул. Бокшто). З цього періоду, тобто приблизно з 1825 року, в тілі будівлі збереглися кахельні плити, віконні та дверні блоки, дерев'яні сходи, а також живопис і ліпнина. Ефект робіт викликав захоплення у тогочасних людей, а Міхал Балінський описав палац як "найкрасивіший приватний будинок у Вільнюсі".

У 1834 році будівля стала частиною Медико-хірургічної академії, яка була створена після закриття царем Віленської академії. У той час у будівлі було проведено низку ремонтних робіт, щоб пристосувати, зокрема, прибудови до їхніх нових функцій. З 1990 року Палац Ходкевича є резиденцією Lietuvos nacionalinis dailės muziejus.