Палац, зведений на великій земельній ділянці, розташованій одразу за Віленською брамою на краю передмістя Лукішки, приватної юрисдикції родини гербу Троньби, називався Янушівським на честь його творця Януша Радзивілла. Резиденція була розташована на схилі пагорба (107 м над рівнем моря), сьогодні нерозбірливого в структурі міста, на вулиці, що веде до мосту через Неріс, позаду лютеранської каплиці та шпиталю з цвинтарем.

Спочатку на цій території знаходилася садиба Яна Радзивілла (1492-1542), старости Самогитського, яку успадкувала його дочка Петронела (пом. 1564/67), одружена зі Станіславом Довойною (пом. 1573 р.). Однак маєток не зовсім законно перейшов до її сестри Анни († 1600), одруженої зі Станіславом Кішкою († 1554), воєводою вітебським. У 1574 році вона продала дерев'яну садибу гетьману Кшиштофу "Піоруну" Радзивіллу, який, здається, ліквідував стару резиденцію і почав будувати на її місці або поруч з нею нову "з великими витратами". Пишучи свій заповіт у 1599 році, він висловив упевненість, що який би син не отримав маєток, він буде ним "задоволений". Він також рекомендував "як найпишніше збудований дерев'яний [...] маєток біля Вілейської брами".

Великий гетьман встиг завершити роботи над новою резиденцією, а маєток і сад перейшли до Кшиштофа ІІ (1585-1640), його молодшого сина. Цей найвпливовіший дисидент Речі Посполитої вміло поєднував громадську діяльність з опікою над великою групою літераторів та нумізматичним колекціонуванням. Його син Януш, освічений і знайомий з колами європейської еліти, досить швидко перебрав на себе частину маєтку Лукішків. Вправний танцюрист з бездоганними манерами, він був не лише колекціонером цікавинок і книг, але й вправним збирачем живопису, пробуючи свої сили і в цьому. Водночас він виявляв неабияку хоробрість на полі бою, з'ясовував стосунки у стані алкогольного сп'яніння та жорстоко розправлявся з непокірними козаками.

Януш Радзивілл розпочав будівництво палацу після 2 лютого 1638 року, коли всупереч родині та очевидному небажанню батька одружився з католичкою Катериною з роду Потоцьких (1619-1642) через її матір Марію з роду Могил, спорідненого з родом, що посідав престоли Молдавії та Валахії. Резиденція Великого гетьмана литовського і воєводи віленського стала найрозкішнішою резиденцією Радзивіллів у Вільнюсі, а сам він на той час вже був наймогутнішим литовським магнатом, чиї амбіції виходили за рамки національної політики. Він насолоджувався життям і службою в палаці настільки, наскільки дозволяли його обов'язки, часто приймаючи гостей.

Палац Янушовських був побудований за проектом Костанте Тенкалли. Архітектор був учнем і співробітником Карло Мадерни в Римі, будівничого каплиці святого Казимира у Вільнюському кафедральному соборі та творця костелу згромаджених кармелітів святої Терези. Хоча він спроектував палац, Тенкалла не керував будівництвом, будучи залученим до варшавських інвестицій короля Владислава IV. Наглядав за будівництвом Ян Ульріх, який працював над іншою роботою Тенкалли у Вільнюсі - костелом Святої Терези, а також виконував роботи для Януша Радзивілла в Кедайняй. У будівництві також брали участь Вільгельм Поль і лютеранин Адам Бейєр, слюсар.

Під час московської окупації костел був зруйнований і пограбований. Незважаючи на відбудову, здійснену наступним власником, Богуславом Радзивіллом, до кінця 17 століття вона втратила своє значення, а в наступному столітті поступово занепадала і згодом була знесена майже повністю. До наших днів зберігся лише один павільйон і частина північно-східного крила. Північно-західний павільйон було реконструйовано, а північне крило розширено після 1984 р. Зараз у будівлі знаходиться філія Lietuvos nacionalinis dailės muziejus - Radvilų rūmų dailės muziejus. Станом на 2019 рік ведуться роботи з розширення резиденції Радзивіллів для музейних цілей.

Це пов'язано з тим, що ми маємо два достовірних іконографічних джерела із зображенням палацу. Перше - це медаль, викарбувана у 1653 році Себастьяном Дадлером (1586-1657) з нагоди вступу Януша Радзивілла на посаду воєводи Віленського воєводства, а друге - карта Вільнюса Георга Макса фон Фюрстенгоффа 1737 року.

На основі цього можна зробити висновок, що палац складався з п'яти триповерхових павільйонів з мезоніном, які були з'єднані нижніми крилами в підкову. Фронтальні павільйони були з'єднані невисоким муром з двома брамами з боку вулиці Віленської, а весь комплекс був обнесений додатковою огорожею з двома вежами. На території неправильної форми з півночі та сходу були розбиті сади. Перший був репрезентативним і функціональним, до нього виходила двоповерхова лоджія північного крила, вкрита окремим пласким дахом. Слід зазначити, що палац мав цікаві об'ємно-просторові рішення, в яких акцентувалися діагональні осі. Також було введено дві видові точки. Одна прямо з площі, створеної перед резиденцією, а інша збоку на виїзді з міста в напрямку Вільнюської брами.