У 1496 році великий князь литовський Олександр подарував Дружу Тимофію Масальському, який збудував тут замок або, що нам достеменно невідомо, розширив існуючі тут раніше укріплення. У 1611 році фрагменти села із замком придбав великий канцлер литовський Лев Сапєга (1557-1633), і майже два століття маєток залишався в руках цієї родини. Цей же канцлер розбудував замок у першій половині 17 століття, але власники насолоджувалися ним недовго. Значення цієї оборонної споруди зменшувалося з кожною наступною війною. Наприкінці 18 століття від будівлі мало що залишилося, оскільки вона була спалена російською армією в 1664 році. До наших днів збереглася лише частина валів.

Останнім власником маєтку Дружа був литовський генерал артилерії князь Францішек Сапєга (1772-1829), який близько 1824 року фіктивно продав Дружу (найімовірніше, він подарував її управителю власного маєтку якомусь Йосипу Мілошу). Нобелівський лауреат писав у книзі "У пошуках батьківщини":

"Юзеф Мілош, який народився десь перед 1790 роком, поїхав на Схід і вступив на службу до князів Сапєг. Тут він служив в адміністрації і своєю працьовитістю, надійністю та іншими додатковими якостями заслужив довіру і безмежну віру князя Сапєги. [...] Згідно з царським указом, Сапєга, не бажаючи прийняти російське кріпацтво, був змушений розпродати свої маєтки. Мілош, якому Сапєга не мав підстав не довіряти, запропонував продати свої маєтки за фіксованим ключем, за що отримав пожертву, оформлену купівельним актом [...].

Після нього маєток перейшов до його сина, лікаря Євгеніуша (пом. 1885 р.). Родина Мілошів мешкала у колишньому замку Сапєг, який Євгеніуш відбудував після пожежі 1812 року. Фактично був зведений новий особняк, можливо, з використанням частин замку Сапєг. Нова будівля, завдяки своєму розташуванню та повазі до традицій, отримала назву Замку. Наступним власником був син Євгеніуша та Емілії Мілош, однофамілець батька († 1908 р.), а також його брат Юзеф († 1914 р.), одружений з Марією Ковалевською. Його дочка Емілія за нез'ясованих обставин до 1914 року продала більшу частину земель у Друа, включно із замком. У міжвоєнний період урізаний маєток опинився в руках спадкоємців Юзефа, ймовірно Марії з Ковалевської Мілошової, а колишній будинок Мілоша використовували як казарму Корпусу охорони прикордоння, а резиденцію перебудували, пристосувавши її до нової функції.

Після Другої світової війни в будинку містився туберкульозний санаторій "Друга", потім лікарня і медичний центр. Збереглися частини дворового парку та один флігель.

Друї Мілош були родичами поета, який написав про них у своїй книзі "У пошуках батьківщини".

Колишня резиденція родини Мілошів стоїть на березі Двіни, в колишньому передмісті під назвою Свобода Сапєжина. Будівля зведена на прямокутному плані, на високих цоколях. Фасад і садові фасади оздоблені трьома ризалітами. До центрального, фронтального, ведуть широкі сходи. Центральний на садовому підвищенні завершується п'ятикутником. Садиба багато разів перебудовувалася і втратила свою історичну цінність.