Ołyka na stałe związana jest z rodem Radziwiłłów od XVI w. Pierwszą siedzibą rodzinną była warownia położona na płaskim terenie w pobliżu stawu. Kolejni właściciele Ołyki sukcesywnie rozbudowywali założenie rezydencjonalne. W połowie XVIII w. powstała obszerna rezydencja, która składała się z czterech skrzydeł, a ich wnętrza były bogato zdobione freskami, sztukateriami i złoceniami. Do głównego, trójpiętrowego skrzydła pałacu prowadziła monumentalna brama wjazdowa. Założeniu towarzyszyły ogrody w typie francuskim.

Magnackie miasteczko

Dzieje Ołyki sięgają XV w., kiedy miała zostać założona przez Piotra Janowicza Montygerdowicza herbu Wadwicz, zwanego „Białym” (zm. ok. 1498), marszałka wielkiego litewskiego. Po jego śmierci dobra przeszły na wdowę Annę z Wiazowiczów. Następnie Ołykę odziedziczyła wnuczka, Anna Kiszczanka (zm. 1532), zamężna z Janem Radziwiłłem „Brodatym” (1474-1522). Jego syn, Mikołaj Radziwiłł „Czarny” (1515-1565), kanclerz wielki litewski i wojewoda wileński, uzyskał od cesarza Karola V dziedziczny tytuł książęcy „na Ołyce i Nieświeżu”, zatwierdzony przez króla Zygmunta Augusta w 1545 r. Syn Mikołaja „Czarnego”, Stanisław Radziwiłł (1559-1599), starosta generalny żmudzki, utworzył w 1586 r. ordynację na dobrach ołyckich, aby zapobiec ich rozdrobnieniu i przejściu w obce ręce. Podobnie uczynili jego bracia: wojewoda wileński, Mikołaj Krzysztof „Sierotka” (1549-1616), z posiadanym przez siebie kluczem nieświeskim, a biskup wileński, kard. Jerzy Radziwiłł (1556-1600) - z kleckim. Bracia uzgodnili, że w przypadku wygaśnięcia którejś z trzech linii dziedziczenia, dana ordynacja przejdzie do tej, która najprężniej działa. 

Stosunkowo szybko taki los spotkał właśnie ordynację ołycką: pierwszym ordynatem został założyciel Stanisław, drugim jego przyrodni brat, Mikołaj Krzysztof „Sierotka”, a trzecim syn, Albrycht Stanisław (1593-1656), kanclerz wielki litewski. Po jego bezpotomnej śmierci dobra ołyckie przeszły na szóstego ordynata nieświeskiego, Michała Kazimierza Radziwiłła (1635-1680), hetmana polnego litewskiego i kasztelana wileńskiego. Ostatnim ordynatem ołyckim i nieświeskim był Dominik Radziwiłł (1786-1813), który został ich pozbawiony przez rząd carski za wstąpienie do armii Księstwa Warszawskiego i udział w wojnie przeciwko Rosji. W 1814 r., po długich zabiegach Adama Czartoryskiego, car Aleksander I uchylił areszt i dobra ołyckie i nieświeskie przeszły na potomków linii kleckiej Radziwiłłów. Ostatnim, trzynastym ordynatem na Ołyce był książę Janusz Radziwiłł (1880-1967).

Pałac rodowy

Pierwszą siedzibę Radziwiłłów w Ołyce miał wznieść Mikołaj Radziwiłł „Czarny”, ok. 1564 r.. Była to warownia, położona na płaskim terenie w pobliżu stawu. Wiadomo, że w 1686 r. rezydencja była dwupiętrowa i składała się zaledwie z siedmiu pokoi, kaplicy i czterech pokojów na piętrze wraz z salą. Na teren pałacu prowadziła brama, nad którą w 1640 r. kanclerz Albrycht Stanisław Radziwiłł wmurował okazałą tablicę upamiętniającą swój zarząd pałacem ołyckim. W budynku bramnym, nad przejazdem, znajdowała się ponadto kaplica. 

Kolejni właściciele Ołyki sukcesywnie rozbudowywali założenie rezydencjonalne. W 1737 r. sam pałac w dalszym ciągu nie był bardzo okazały, potrzebował także pilnego remontu. Został on ukończony przed 1755 r., kiedy sporządzono kolejny opis zamku. Inicjatorem przebudowy był Michał Radziwiłł „Rybeńko” (1702-1762), wojewoda wileński i kanclerz wielki litewski, który w tym samym czasie remontował zamek rodowy w Nieświeżu. Po ukończeniu prac w Ołyce powstała obszerna rezydencja, składająca się z czterech skrzydeł, z ukośnymi alkierzami na narożach przechodzących w trójkątne bastiony. Naprzeciw głównego, trójpiętrowego skrzydła pałacu znajdowała się monumentalna brama wjazdowa, podkreślona za pomocą wysokiej wieży umieszczonej na osi. Założeniu towarzyszyły ogrody w typie francuskim. Wnętrza były bogato zdobione freskami, sztukateriami i złoceniami. 

Za przebudowę starego pałacu w rezydencję odpowiadającą aspiracjom Radziwiłłów odpowiadał Johann Georg Knackfuss (zm. po 1770), ogrodnik planista, architekt i budowniczy, który mieszkał w Ołyce, a na usługach Radziwiłłów pozostawał ponad pięćdziesiąt lat (ok. 1720-ok. 1770). Przypuszcza się, że udział w budowie mógł mieć także Jakub Fryczyński (zm. po 1778), architekt, generał-major wojsk litewskich i dowódca garnizonu ołyckiego, który odnotowany był przy przebudowie pałacu w Żółkwi (dobra żółkiewskie do 1787 r. były własnością Radziwiłłów).

Czasy upadku i odnowy

Od początku XIX w. zamek w Ołyce podupadał, co wiązało się z konfiskatą dóbr przez rząd carski. W 1812 r. pałac zajęto na szpital, który funkcjonował aż do 1836 r. Po jego likwidacji rezydencja stała pusta i niszczała, Radziwiłłowie nie dbali ani o Ołykę, ani o Nieśwież. 

Dopiero w drugiej połowie XIX w. z inicjatywy Marii de Castellane Antoniowej Radziwiłłowej (1840-1915) i dwunastego ordynata Ferdynanda Radziwiłła (1834-1926) rozpoczęto (ok. 1860) remont. Przynajmniej w początkowej fazie pracami miał kierować lwowski architekt Zygmunt Gorgolewski (1845-1903), najlepiej znany z budowy Teatru Wielkiego we Lwowie. Po zakończeniu renowacji (1882) w ołyckim pałacu znów zamieszkali przedstawiciele rodu Radziwiłłów. 

Podczas pierwszej wojny światowej przez Ołykę przechodziła linia frontu, a założenie rezydencjonalne wraz z położoną naprzeciwko okazałą kolegiatą tylko cudem nie zostały doszczętnie zniszczone. Ucierpiały natomiast bogate wnętrza pałacowe, które zostały ograbione i zniszczone. Ostatni wielki remont przeprowadził (po 1920) trzynasty ordynat książę Janusz Radziwiłł . Pałac na krótko odzyskał dawny blask i rodowy splendor. Kolejna dewastacja przyszła w 1939 r. wraz z zajęciem Ołyki przez wojska sowieckie. 

W 1945 r. władze sowieckiej Ukrainy urządziły w pałacu szpital psychiatryczny, który funkcjonuje do dzisiaj. Zrujnowany pałac poddawany jest bieżącym remontom. Nieliczne ocalałe szczątki wyposażenia rezydencji znajdują się w Wołyńskim Muzeum Krajoznawczym w Łucku.