Pałac należący przez ponad 200 lat do Chodkiewiczów usytuowany był w samym sercu Wilna, na granicy civitas Ruthenica, a więc obszaru, na którym od XIII/XIV w. rozwijało się osadnictwo ruskie. Siedziba stała bezpośrednio przy prestiżowej via regia, tuż obok cerkwi św. Paraskiewy (Piatnickiej) z jej cmentarzem, szpitalem i domami, wyróżniając się spośród znajdującej się obok zabudowy mieszczańskiej i konkurując z pobliskim, leżącym po przeciwległej stronie pałacem Hetmańskim Paców. 

W miejscu, gdzie powstał pałac jednego z najznamienitszych rodów litewskich, istniał wcześniej murowany budynek o piętnastowiecznej metryce. Najpewniej tuż przed 1600 r. zakupił go Jan Karol Chodkiewicz (1561–1621), ówczesny podczaszy litewski i starosta żmudzki, a już wkrótce hetman (1600 i 1605) i wojewoda wileński (1616).  

Zwany litewskim Achillesem, wybitny dowódca wojskowy, a także fortyfikator (Lachowicze, Stary Bychów) oraz fundator kościołów i klasztorów (bernardyni w Kretyndze, jezuici w Krożach) Jan Karol Chodkiewicz obszar swojej realności w kolejnych latach stale powiększał o sąsiednie parcele. Prace przy pałacu kontynuowano jeszcze po 1609 r., a twórcą czynnym przy tej i innych inwestycjach hetmana był Kacper (Gaspar).  

Dzieło powiększania realności kontynuował spadkobierca Chodkiewicza, syn jego stryja Hieronima z linii na Supraślu – Krzysztof (zm. 1652), kasztelan wileński (1636) i wojewoda wileński (1642). 19 września 1643 r. wystąpił on o wyznaczenie granicy pomiędzy obszarem należącym do pałacu a własnością cerkwi św. Paraskiewy. Z dokumentu wynika, że wojewoda wileński na własny koszt wybudował mur graniczny, przy którym stanęła drewniana zabudowa mieszkalno-gospodarcza. Przewidywano też miejsce na wspólne zorganizowanie studni i… ubikacji, za co miał zapłacić Chodkiewicz. 

Siedziba zniszczona podczas okupacji moskiewskiej została odbudowana w latach 60.–70. XVII w. Prace remontowe były wówczas prowadzone m.in. przez najemców pozyskanych przez kolejnego posesora – oboźnego litewskiego Jerzego Karola Chodkiewicza (1646–1691) i jego matkę Izabelę z Lackich. Fasadę rezydencji ozdobiono postaciami smoków, stąd pałac zaczęto nazywać Pod Smokami. Ich wyobrażenia w XVIII w. pełniły funkcję rzygaczy.    

Znacznych zmian dokonano w pałacu w czasach Jana Mikołaja Chodkiewicza, od którego pochodzą współcześnie żyjący przedstawiciele rodu. Po powiększeniu parceli o sąsiednią kamienicę od strony cerkwi św. Paraskiewy, w latach 1754–1762 rezydencja była przebudowywana przez Abrahama Würtznera. Umowę z architektem podpisano 10 lutego 1754 r., a w sierpniu kolejnego kończono prace na dachu. Na podstawie zachowanych rachunków wynika, że bywały tygodnie, kiedy przy murach stało 7–8 murarzy wraz pomocnikami, których nadzorowali tacy mistrzowie murarscy jak Mikołaj Wiśniewski, Marcin Rusewicz, czy Marcin Sirkwicz, ale też sam architekt, który bywał zastępowany przez kolegę po fachu Franciszka Offerta.  

W efekcie prowadzonych prac, do gmachu dwukondygnacyjnego i dwutraktowego wzniesionego na planie zbliżonym do prostokąta, a więc ukształtowanego jeszcze w XVII w. dodano w części centralnej mezzanino. Budowlę zwieńczyły trzy dekorowane stiukami szczyty, z których środkowy, a więc nad partią najwyższą, zawierał herb Chodkiewiczów. Mansardowy dach nakrywała dachówka, a na osi fasady umieszczona była brama o sklepieniu krzyżowym. Klatka schodowa prowadząca na paradne piętro (piano nobile) umieszczona była w skrzydle południowym. Największa sala usytuowana była w trakcie frontowym, nad bramą. Łączyła się ona z kredensem, który służył jako miejsce do przechowywania  naczyń i przygotowywania posiłków przed serwowaniem. Pałac ujmowały skrzydła o funkcjach mieszkalno-gospodarczych. 

W 1812 r. pałac stał się własnością Wojciecha Pusłowskiego (1762–1833), posła na Sejm Czteroletni, ale i zręcznego przedsiębiorcy, który dorobił się milionowej fortuny, skupując m.in. podupadłe majątki i organizując różnorodne manufaktury. Prowadził on też z ramienia rządu prace budowlane na ówczesnej Akademii Wileńskiej. To za jego czasów ostatecznie ukształtował się klasycystyczny charakter siedziby – konglomerat frontowego budynku pałacowego, skrzydeł i oficyn, które ujmują nieregularny dziedziniec przypominający literę T, rozpięty pomiędzy ulicami Wielką (Didžioji g.) i Sawicz II (Bokšto g.). Z tego okresu, tj. z ok. 1825 r., w korpusie zachowały się kaflowe piece, stolarka okienna i drzwiowa, drewniane schody oraz dekoracja malarska i stiukowa. Efekt prowadzonych prac zachwycał ówczesnych, a Michał Baliński określał pałac jako „najpiękniejszy w Wilnie z prywatnych domów”. 

W 1834 r. gmach stał się częścią Akademii Medyko-Chirurgicznej, która powstała po zamknięciu przez carat Akademii Wileńskiej. Podjęto w nim wówczas szereg remontów mających na celu dostosowanie szczególnie oficyn do nowych funkcji. Od 1990 r. pałac Chodkiewiczów jest siedzibą Lietuvos nacionalinis dailės muziejus.