Походження палацу пов'язане з родиною Нарушевичів, які до 1655 року організували резиденцію на міській землі, об'єднавши п'ять земельних ділянок. Через сто років палац перейшов у власність Радзивіллів. Щоб відрізнити його від інших віленських резиденцій роду герба Тронських, його назвали Малим. Він знаходився навпроти бенедиктинського костелу Святої Катерини, на вулиці, що вела до Віленської брами, за якою стояв палац Януша Радзивіллів. Задній двір резиденції Нарушевичів прилягав до дворів резиденцій Сапєг та Огінських, розташованих на вулиці Троцькій, де Радзивілли також володіли нерухомістю з XVI століття.

Резиденція Нарушевичів стояла на неправильній, майже квадратній ділянці, північно-східна сторона якої прилягала до дугоподібної вулиці. Безпосередньо до неї прилягав палацовий корпус, орієнтований по осі схід-захід. Брама знаходилася на південно-східному кінці ділянки, а вся ділянка була обнесена муром. Таким чином, будівля стояла на фасаді, але не в безпосередній близькості від інших приміщень, будинків, палаців чи церков, що є незвичним для віленських резиденцій. Він був збудований на приблизно прямокутному плані, а інтер'єри були двосхилими. Фасад другого поверху прикрашав ритм фронтонів, що чергувалися, але віконні прорізи були розташовані асиметричними групами по 2, 3 і 4, що відображало злиття попередніх будівель в один організм. Віконні рами походять від іонічної кіматики, прикрашені фруктовими гірляндами (частково реконструйовані), що дозволяє припустити, що до створення резиденції доклала руку майстерня, пов'язана з люблінським середовищем першої половини 17 століття.

На основі археологічних та архітектурних досліджень встановлено, що з внутрішнього двору палац мав двоповерхові лоджії (нині реконструйовані). Два флігелі стояли на північному і західному кордонах ділянки. У північній частині розташовувався великий сад.

Невідомо, хто організував власне резиденцію - Станіслав Нарушевич (пом. 1650), письменник литовський, чи його молодший брат Олександр Христофор (пом. 1668), підканцлер литовський. Втім, це сталося ще до 1655 року, оскільки відомості про пограбування палацу походять з часів московської окупації. На зламі 17-18 століть палац належав Пьотру Міхалу Паку, старості Самогитському, який одружився з Маріанною Теклею, дочкою Олександра Кшиштофа Нарушевича і Теодори з Сапєг (пом. 1678 р.), вдови Єжи Кароля Ходкевича.

Подальшу долю палацу важко пояснити. Ймовірно, він переходив з рук в руки, належав, зокрема, Яну Казимиру Ліндорфу (пом. 1732 р.), старості мстиславському і жуковському, а пізніше його спадкоємцям. У 1757 р. палац перейшов у власність Піаристів, які розпочали його реконструкцію. Проте вже у 1760 році палац був ідентифікований як такий, що належав Миколаю Казимиру "Рибеньці" Радзивіллу. Втім, князь Несвіжський і Олицький у ньому не жив. Він придбав цей будинок, оскільки він знаходився позаду його земельної ділянки і власне палацу, так званого палацу Воєводських на вулиці Торцькій, і мав слугувати флігелем з великими будівлями.

Міколай Казимир "Рибенце" успадкував його син Кароль Станіслав "Пані Коханку" (1734-1790), після якого палац перейшов до рук Домініка Ієроніма Радзивілла (1786-1813). У 1796 році П'єтро де Россі пристосував приміщення палацу для потреб міського театру, який був переповнений мешканцями Вільнюса, в тому числі і молодим Адамом Міцкевичем. Північне крило, прибудоване на 2/3 довжини палацу, датується тим же часом. Між 1845 і 1865 роками було добудовано південне крило, що надало палацу F-подібного плану. У будівлі тоді розташовувалися квартири, а також аптека апостола Юстина Мікутовича (1838-1893).

До 1974 року будівля була відремонтована для використання як театр для дітей та юнацтва. У 1987-1989 рр. палац було відремонтовано і частково реконструйовано за проектом Гедре Юкневічене, а також перебудовано двоповерхову аркадну лоджію і південне крило. Збереглися невеликі фрагменти штукатурки і поліхромії 19 століття, фрагменти стіни огорожі 17-18 століття і смуга орнаментального сграфіто першої половини 17 століття на фасаді, а також фронтони. Сьогодні у колишньому палаці Нарушевичів, пізніше Радзивіллів, знаходиться заснований у 1992 році Lietuvos teatro, muzikos ir kino muziejus.

Розроблено. Анна Сильвія Чиж