Олика нерозривно пов'язана з родом Радзивіллів від XVI століття. Першою родинною резиденцією була фортеця, розташована на рівнинній місцевості поблизу ставу. Наступні власники Олики поступово розбудовували палац. У середині XVIII ст. була постала простора резиденція, що складалася з чотирьох крил, інтер'єри яких містили розкішні фрески, ліпнини та позолоту. До головного триповерхового корпусу палацу вела монументальна в'їзна брама. Комплекс доповнювали регулярні сади французького типу.

Магнатське містечко

Історія Олики бере свій початок у XV столітті. Її заснував Петро Янович Монтигердович герба Вадвич, якого прозивали «Білий»  (помер бл. 1498 р.) - великий маршалок литовський. Після його смерті маєток перейшов до його вдови Анни з В'язовичів. Згодом Олику успадкувала їхня онука Анна Кищанка (пом. 1532 р.), дружина Яна Радзивілла «Бродатого» (1474-1522 рр.). Їхній син, Миколай Радзивілл «Чорний» (1515-1565 рр.), великий канцлер литовський і воєвода віленський, отримав від імператора Карла V спадковий герцогський титул «на Олиці і Несвіжі», який у 1545 році був затверджений королем Сигізмундом Августом. Син Миколая «Чорного», Станіслав Радзивілл (1559-1599 рр.), генеральний староста жмудський, у 1586 році заснував майорат в Олицькому маєтку, щоб запобігти поділу родових володінь і переходу їх до чужих рук. Аналогічно вчинили його брати: віленський воєвода Миколай-Криштоф Радзивілл «Сирітка» (1549-1616 рр.) з маєтком Несвізьким, а також віленський єпископ, кардинал Єжи Радзивілл (1556-1600 рр.) з маєтком Клецьким. Брати домовилися, що у разі припинення однієї з трьох спадкових ліній відповідний майорат перейде до тієї гілки роду, яка на той час буде найсильнішою.

Досить швидко така доля спіткала саме Олицький майорат. Першим бенефіцієм став її засновник Станіслав, другим – його зведений брат Миколай-Криштоф «Сирітка», а третім – син останнього, Альбрехт Станіслав (1593-1656 рр.), великий канцлер литовський. Після його смерті без спадкоємців Олицький маєток перейшов до шостого несвізького власника Михайла Казимира Радзивілла (1635-1680 рр.), польного гетьмана литовського та віленського каштеляна. Останнім спадкоємцем Олики й Несвіжа був Домінік Радзивілл (1786-1813 ), якого царська влада позбавила володінь за вступ до армії Варшавського герцогства та участь у війні проти Російської імперії. У 1814 році, після тривалих зусиль Адама Чарторийського, імператор Олександр І скасував арешт маєтків, і Олицький та Несвізький майорати перейшли до нащадків клецької гілки роду Радзивіллів. Останнім, тринадцятим, власником Олики був князь Януш Францішек Радзивілл (1880-1967 рр.).

Родовий палац

Першу резиденцію роду Радзивіллів в Олиці, за переказами, побудував у близько 1564 році Миколай Радзивілл «Чорний». Це була фортеця, розташована на рівнинній ділянці біля ставу. Відомо, що у 1686 році резиденція була двоповерховою і складалася лише з семи кімнат, каплиці та чотирьох приміщень й великої зали на другому поверсі. На територію палацу вела брама, над якою у 1640 році канцлер Альбрехт Станіслав Радзивілл встановив монументальну пам’ятну таблицю на згадку про своє управління маєтком в Олиці. У будівлі брами, над проїздом, також містилася каплиця.

Наступні власники Олики послідовно розбудовували резиденційний комплекс. У 1737 році палац все ще не дуже вражав своєю величчю й потребував термінового ремонту. Реконструкцію завершили до 1755 року, коли було складено черговий опис замку. Ініціатором перебудови став Михайло Радзивілл «Рибонька» (1702-1762 рр.), воєвода віленський і великий канцлер литовський, який водночас займався відновленням родового замку в Несвіжі. Коли роботи були завершені, в Олиці з'явилася простора резиденція, що складається з чотирьох корпусів із діагонально розташованими наріжними алькежами, які переходили у трикутні бастіони. Навпроти головного триповерхового крила палацу височіла монументальна в'їзна брама  композиційну вісь якої підкреслювала висока вежа. Палац оточували регулярні сади французького типу, а його інтер’єри були розкішно оздоблені фресками, ліпниною та позолотою.

Реконструкцією старого палацу на резиденцію, гідну амбіцій роду Радзивіллів, займався Йоганн Георг Кнакфус (пом. після 1770 р.) – садівник-планувальник, архітектор і будівничий, який жив в Олиці й перебував на службі у Радзивіллів понад півстоліття (бл. 1720 – бл. 1770 рр.). Припускають також, що до будівництва міг бути причетний Якуб Фричинський (пом. після 1778 р.) – архітектор, генерал-майор литовської армії й комендант олицького гарнізону, відомий своєю участю в перебудові палацу в Жовкві, що до 1787 року належала Радзивіллам.

Часи занепаду та відродження

Починаючи з XIX століття замок в Олиці почав занепадати, що було пов'язано з конфіскацією маєтку царською владою. У 1812 р. палац переобладнали  під шпиталь, який функціонував до 1836 р. Після його ліквідації резиденція залишалася покинутою і поступово занепадала. Радзивілли в той час уже не приділяли належної уваги ні Олиці, ні Несвіжу.

Лише у другій половині XIX століття з ініціативи Марії де Кастеллане Антоніни Радзивілл (1840-1915 рр.) та дванадцятого  бенефіція Фердинанда Радзивілла (1834-1926 рр.) розпочалася реставрація (близько 1860 р.). Принаймні на початковому етапі роботами керував львівський архітектор Зиґмунт Ґорґолевський (1845-1903 рр.), більше відомий з будівництва Великого театру у Львові. Після реставраційних робіт (1882 р.) представники роду Радзивіллів знову оселилися в олицькому палаці.

Під час Першої світової війни через Олику проходила лінія фронту і це диво, що комплекс і розташований навпроти величний колегіальний костел уникнули повного знищення. Натомість багаті палацові інтер'єри були пограбовані та зазнали значних руйнувань. Останній капітальний ремонт здійснив (після 1920 р.) тринадцятий бенефіцій – князь Януш Радзивілл. Палац ненадовго повернув собі колишню велич і родовий блиск. Наступне спустошення прийшло в 1939 році з окупацією Олики радянськими військами.

У 1945 році влада радянської України розмістила в палаці психіатричну лікарню, яка функціонує тут і сьогодні. Зруйнований палац постійно реставрують. Нечисленні вцілілі елементи інтер'єру палацу нині зберігаються у Волинському краєзнавчому музеї в Луцьку.