У 1496 році великий князь литовський Олександр подарував Дружу Тимофію Масальському, який збудував тут замок або, що нам достеменно невідомо, розширив існуючі тут раніше укріплення. У 1611 році фрагменти села із замком придбав великий канцлер литовський Лев Сапєга (1557-1633), і майже два століття маєток залишався в руках цієї родини. Цей же канцлер розбудував замок у першій половині 17 століття, але власники насолоджувалися ним недовго. Значення цієї оборонної споруди зменшувалося з кожною наступною війною. Наприкінці 18 століття від будівлі мало що залишилося, оскільки вона була спалена російською армією в 1664 році. До наших днів збереглася лише частина валів.

Останнім власником маєтку Дружа був литовський генерал артилерії князь Францішек Сапєга (1772-1829), який близько 1824 року фіктивно продав Дружу (найімовірніше, він подарував її управителю власного маєтку, якомусь Йосипу Мілошу). Нобелівський лауреат писав у книзі "У пошуках батьківщини":

"Юзеф Мілош, який народився десь перед 1790 роком, поїхав на Схід і вступив на службу до князів Сапєг. Тут він служив в адміністрації і своєю старанністю, надійністю та іншими додатковими якостями завоював довіру і безмежну віру князя Сапєги. [...] Згідно з царським указом, Сапєга, не бажаючи прийняти російське кріпацтво, був змушений розпродати свої маєтки. Мілош, якому Сапєга не мав підстав не довіряти, запропонував розпродати свої маєтки за фіксованим ключем, за що отримав пожертву, оформлену купівельним актом [...]".

Після нього маєток перейшов до його сина, лікаря Євгена (пом. 1885 р.). Родина Мілошів мешкала у колишньому замку Сапєг, який Євгеніуш відбудував після пожежі 1812 року. Фактично був зведений новий особняк, можливо, з використанням частин замку Сапєг. Нова будівля, завдяки своєму розташуванню та повазі до традицій, отримала назву Замку. Наступним власником був син Євгеніуша та Емілії Мілош, однофамілець батька († 1908 р.), та його брат Юзеф († 1914 р.), одружений з Марією Ковалевською. Його дочка Емілія за нез'ясованих обставин до 1914 року розпродала більшу частину земель у Друа, в тому числі і замок. У міжвоєнний період урізаний маєток опинився в руках спадкоємців Юзефа, ймовірно, Марії з Ковалевської Мілошової, а в колишньому будинку родини Мілошів розмістили казарми Корпусу охорони прикордоння, а резиденцію перебудували, пристосувавши її до нової функції.

Після Другої світової війни в будинку містився туберкульозний санаторій "Дружа", потім лікарня і медичний центр. Збереглися частини дворового парку та один флігель.

Друї Мілош були родичами поета, який написав про них у своїй книзі "У пошуках батьківщини".

Колишня резиденція родини Мілошів стоїть на березі Двіни, в колишньому передмісті під назвою Свобода Сапєжина. Будівля зведена на прямокутному плані, на високих цоколях. Фасад і садові фасади оздоблені трьома ризалітами. До центрального, фронтального, ведуть широкі сходи. Центральний у садовому ярусі завершується п'ятикутником. Садиба кілька разів перебудовувалася і втратила свою історичну цінність.