Na przestrzeni wieków niewielka Idołta należała do książąt Massalskich, Sapiehów i do rodziny Miłoszów. Odrębny folwark powstał tu w XIX w. i był własnością Józefa Miłosza, następnie jego syna Eugeniusza (zm. 1885), żonatego z Emilią z Targońskich. Kolejnymi właścicielami były ich dzieci. Eugeniusz (zm. 1908), Józef (zm. 1914) oraz Jadwiga z męża Iżycka. Obaj bracia mieszkali w Drui, a w Idołcie przebywała ich siostra. Mieszkała sama, męża pozbyła się ponoć tuż po ślubie. W 1909 r. Emilia (córka Józefa) sprzedała majątek w Idołcie rodzinie Świderskich, którzy byli jej właścicielami do 1939 r.

Zespół dworski leży niedaleko rzeczki o tej samej nazwie. Dwór zbudowano w 2. połowie XIX w., został wzniesiony na planie prostokąta jako budowla murowana, parterowa z drewnianą piętrową częścią środkową, zwieńczoną trójkątnym frontonem z okulusem. Od frontu poprzedza ją portyk z trzema arkadami, nad którym umieszczono balkon. Fasadę akcentuje ryzalit centralny.

We wnętrzu siedziby znajdowały się niegdyś portrety rodzinne Miłoszów oraz biblioteka, jednak zbiory te nie przetrwały dziejowych burz. Po zakończeniu II wojny światowej we dworze umieszczono siedzibę kołchozowej administracji, a majątek należał do kołchozu. W latach 2005-2008 przeprowadzono remont budynku i umieszczono w nim bibliotekę oraz wiejski klub. W sąsiedztwie siedziby Miłoszów zachowała się także oficyna oraz zbudowane z kamienia polnego zabudowania gospodarcze. Całość otaczają pozostałości dworskiego parku z pięknymi starymi drzewami.

Na niewielkim półwyspie na jeziorze, także noszącegym nazwę Idołta, zachowała się wznieisona w 1862 r. dawna kaplica Miłoszów. Obiekt zdewastowano po II wojnie światowej. Na początku XXI w. kaplicę wyremontowano i zwrócono wiernym. Odtąd służy katolikom jako filialny kościółek pw. św. Jana Chrzciciela należący do parafii pw. Matki Bożej Szkaplerznej.

Świątynia jest budowlą z jedną nawą, na planie prostokąta, z pięciobocznie zamkniętym prezbiterium i dwiema zakrystiami. Fasadę wieńczy trójkątny fronton, nad którym wznosi się nieduża drewniana, czworoboczna wieżyczka. W podziemiach pochowano fundatora Eugeniusza Miłosza wraz z żoną Emilią z Targońskich oraz ich dzieci: Eugeniusza, Józefa i Jadwigę, a także żonę Józefa - Marię z Kowalewskich. Niektórych członków rodziny Miłoszów chowano na niewielkim, otaczającym kaplicę cmentarzu, ale ten zniszczono po 1945 r. Zachował się tylko nagrobek Konrada Miłosza, zmarłego w 1852 r.