Początki pałacu wiążą się z Naruszewiczami, którzy przed 1655 r. zorganizowali rezydencję stojącą na gruntach miejskich, scalając pięć działek. Sto lat później pałac stał się własnością Radziwiłłów. Dla odróżnienia go od innych wileńskich siedzib rodu herbu Trąby nosił nazwę Mały. Usytuowany był naprzeciw kościoła benedyktynek pw. św. Katarzyny, przy ulicy prowadzącej do bramy Wileńskiej, za którą stał pałac Januszowski Radziwiłłów. Tył dziedzińca rezydencji Naruszewiczów sąsiadował z podwórzami siedzib Sapiehów i Ogińskich zlokalizowanych przy ul. Trockiej, gdzie realność od XVI w. posiadali także Radziwiłłowie.  

Siedziba Naruszewiczów stanęła na nieregularnej, zbliżonej do kwadratu działce, której północno-wschodni bok przylegał do ulicy o łukowatym dukcie. Bezpośrednio przy niej znalazł się budynek pałacu, usytuowany na osi wschód-zachód. Brama znajdowała się na południowo-wschodnim krańcu parceli, a całość działki ujmował mur. Budynek stał więc w pierzei, ale nie w bezpośrednim sąsiedztwie innych kamienic, domów, pałaców czy też świątyń, co pośród siedzib wileńskich należy uznać za ewenement. Wzniesiono ją na planie zbliżonym do prostokąta, a wnętrza były dwutraktowe. Fasadę w drugiej kondygnacji ozdabiał naprzemienny rytm naczółków, ale otwory okienne usytuowane zostały w niesymetrycznych grupach po 2, 3 i 4, co odzwierciedla scalenie wcześniejszych budynków w jeden organizm. Uszakowe ramy okien wyprowadzono z kimationu jońskiego, ozdabiając girlandami owocowymi (częściowo rekonstruowane), co sugeruje że w powstaniu siedziby miał udział warsztat związany ze środowiskiem lubelskim pierwszej połowy XVII w.  

Na podstawie badań archeologiczno-architektonicznych ustalono, że od dziedzińca pałac miał dwukondygnacyjne loggie (obecne rekonstruowane). Przy północnej i zachodniej granicy parceli stały dwa budynki gospodarcze. Obszerny ogród był zlokalizowany w północnej części. 

Nie wiadomo, czy właściwą siedzibę zorganizował Stanisław Naruszewicz (zm. 1650), pisarz litewski, czy też jego młodszy brat Aleksander Krzysztof (zm. 1668), podkanclerzy litewski. Stało się to jednak jeszcze przed 1655 r., skoro z czasów okupacji moskiewskiej pochodzi informacja o splądrowaniu pałacu. Na przełomie XVII i XVIII w. właścicielem pałacu stał się Piotr Michał Pac, starosta żmudzki, który ożenił się z Marianną Teklą, córką Aleksandra Krzysztofa Naruszewicza i Teodory z Sapiehów (zm. 1678), wdową po Jerzym Karolu Chodkiewiczu.  

Dalsze losy pałacu są trudne do wyjaśnienia. Zapewne przechodził z rąk do rak, będąc m.in. własnością Jana Kazimierza Lindorfa (zm. 1732), starosty mścisławskiego i żukowskiego, a później jego spadkobierców. W 1757 r. siedziba była własnością pijarów, którzy rozpoczęli jego przebudowę. Jednak już w 1760 r. pałac został określony jako należący do Mikołaja Kazimierza „Rybeńki” Radziwiłła. Jednak książę na Nieświeżu i Ołyce w nim nie mieszkał. Nieruchomość kupił, bo znajdowała się na tyłach jego parceli i właściwego pałacu tzw. Wojewodzińskiego przy ul. Torckiej i miała służyć jako zaplecze gospodarcze z obszerną zabudową.  

Po Mikołaju Kazimierzu „Rybeńce” dziedziczył jego syn, Karol Stanisław „Panie Kochanku” (1734–1790), po którym pałac znalazł się w rękach Dominika Hieronima Radziwiłła (1786–1813). W 1796 r. Pietro de Rossi pomieszczenia pałacu dostosował do potrzeb teatru miejskiego, który tłumnie odwiedzali wilnianie, w tym młody Adam Mickiewicz. Z tego czasu pochodzi skrzydło północne dostawione na 2/3 długości pałacu. Pomiędzy 1845 a 1865 r. do siedziby dobudowano skrzydło południowe, w efekcie czego pałac otrzymał rzut zbliżony do litery F. W gmachu mieściły się wówczas mieszkania, a także apteka Apolinarego Justyna Mikutowicza (1838–1893).   

Przed 1974 r. budynek był remontowany na potrzeby teatru dla dzieci i młodzieży. W latach 1987–1989 pałac poddano renowacji i częściowej rekonstrukcji według projektu Giedrė Juknevičienė, a także zrekonstruowano dwukondygnacyjne arkadowe loggie oraz skrzydło południowe. Zachowane są niewielkie fragmenty tynków i polichromii z XIX w., fragmenty muru ogrodzenia z XVII–XVIII w., a w fasadzie pas ornamentalnego sgraffita z pierwszej połowy XVII w. oraz naczółki. Obecnie w dawnym pałacu Naruszewiczów, późniejszym Radziwiłłów, mieści się Lietuvos teatro, muzikos ir kino muziejus, powołane w 1992 r. 

Oprac. Anna Sylwia Czyż