Протягом століть невелика Ідолта належала князям Масальським і Сапєгам, а також родині Мілошів. У 19 столітті тут було створено окремий фільварок, який належав Юзефу Мілошу, потім його синові Євгеніушу (пом. 1885 р.), одруженому з Емілією, уродженою Тарґоньскі. Наступними власниками були їхні діти. Євгеніуш (пом. 1908), Юзеф (пом. 1914) та Ядвіґа (уроджена Іжицька). Обидва брати жили в Друа, а сестра залишилася в Ідольці. Вона жила сама; ймовірно, вона позбулася чоловіка незабаром після одруження. У 1909 році Емілія (дочка Юзефа) продала маєток Ідольт родині Свідерських, яка володіла ним до 1939 року.

Садибний комплекс розташований біля однойменної річки. Садибний будинок побудований у другій половині 19 ст., зведений на прямокутному плані як цегляна одноповерхова будівля з дерев'яною центральною частиною, увінчана трикутним фронтоном з окуляркою. Фронтально він оформлений портиком з трьома аркадами, над яким розташований балкон. Фасад акцентований центральним ризалітом.

В інтер'єрі особняка колись зберігалися портрети родини Мілошів та бібліотека, але ці колекції не пережили історичних буревіїв. Після закінчення Другої світової війни садиба стала резиденцією правління колгоспу, а сам маєток належав колгоспу. У 2005-2008 роках будівля була відремонтована, в ній розмістилися бібліотека і сільський клуб. Поблизу резиденції Мілоша також збереглися флігель і господарські будівлі з польового каменю. Все це оточене залишками садибного парку з красивими старими деревами.

На невеликому півострові на озері збереглася колишня каплиця родини Мілошів, побудована в 1862 році. Будівля була зруйнована після Другої світової війни. На початку 21 століття каплицю відремонтували і повернули віруючим. Відтоді вона використовується католиками як філіальний костел св. Івана Хрестителя при парафії Матері Божої Скапулярійської.

Костел має прямокутну в плані наву з п'ятикутною вівтарем і двома ризницями. Фасад увінчаний трикутним фронтоном, над яким височіє невелика дерев'яна чотирикутна башточка. У склепах поховані засновник костелу Євгеніуш Мілош та його дружина Емілія, уроджена Таргонська, а також їхні діти Євгеніуш, Юзеф і Ядвіга та дружина Юзефа Марія, уроджена Ковалевська. Деякі члени родини Мілошів були поховані на невеликому цвинтарі, що оточував каплицю, але він був знищений після 1945 року. Зберігся лише надгробок Конрада Мілоша, який помер у 1852 році.