Протягом століть невелика Ідольта належала Масальським, Сапєгам та родині Мілошів. У 19 столітті тут був створений окремий фільварок, яким володів Юзеф Мілош, потім його син Євгеніуш (пом. 1885 р.), одружений з Емілією з Тарґоньської. Наступними власниками були їхні діти. Євгеніуш († 1908), Юзеф († 1914) та Ядвіґа (уроджена Іжицька). Обидва брати жили в Друа, а сестра залишилася в Ідольці. Вона жила сама; ймовірно, вона позбулася чоловіка незабаром після одруження. У 1909 році

Емілія (дочка Юзефа) продала маєток Ідольт родині Свідерських, яка володіла ним до 1939 року. Садибний комплекс розташований біля однойменної річки. Садиба збудована у другій половині 19 ст., на прямокутному плані цегляна, одноповерхова, з дерев'яною центральною частиною, увінчана трикутним фронтоном з вічком. Фронтально він оформлений портиком з трьома аркадами, над яким розташований балкон. Фасад акцентований центральним ризалітом.

В інтер'єрі особняка колись зберігалися портрети родини Мілошів та бібліотека, але ці колекції не пережили історичних буревіїв. Після закінчення Другої світової війни садиба стала резиденцією правління колгоспу, а сам маєток належав колгоспу. У 2005-2008 роках будівля була відремонтована, в ній розмістилися бібліотека і сільський клуб. Поблизу резиденції Мілоша також збереглися флігель і господарські будівлі з польового каменю. Все це оточене залишками садибного парку з красивими старими деревами.

На невеликому півострові озера, яке також називається Ідольта, збереглася колишня каплиця родини Мілошів, збудована у 1862 році. Будівля була зруйнована після Другої світової війни. На початку 21 століття каплицю відремонтували і повернули віруючим. Відтоді вона використовується католиками як філіальна церква св. Івана Хрестителя в парафії Матері Божої Скапулярійської.

Костел має прямокутну в плані наву з п'ятикутною вівтарем і двома ризницями. Фасад увінчаний трикутним фронтоном, над яким височіє невелика дерев'яна чотирикутна башточка. У склепах поховані засновник костелу Євгеніуш Мілош та його дружина Емілія, уроджена Таргонська, а також їхні діти Євгеніуш, Юзеф і Ядвіга та дружина Юзефа Марія, уроджена Ковалевська. Деякі члени родини Мілошів були поховані на невеликому цвинтарі, що оточував каплицю, але він був знищений після 1945 року. Зберігся лише надгробок Конрада Мілоша, який помер у 1852 році.