W 1496 r. wielki książę litewski Aleksander nadał Druję Tymoteuszowi Massalskiemu, który wzniósł tam zamek lub też, czego nie wiemy na pewno, rozbudował istniejące w tym miejscu wcześniejsze umocnienia. W 1611 r. fragmenty miejscowości z zamkiem nabył kanclerz wielki litewski Lew Sapieha (1557-1633) i przez prawie dwa wieki dobra te pozostawały w ręku rodziny. Tenże wzniósł zamek w 1. połowie XVII w., jednak niezbyt długo właściciele mogli się nim cieszyć. Znaczenie tej budowli obronnej z każdą kolejną wojną malało. Pod koniec XVIII w. z budowli pozostało niewiele, ponieważ została spalona przez wojska rosyjskie w 1664 r. Mimo odbudowy nie odzyskała już dawnego znaczenia. Do dnia dzisiejszego zachowała się jedynie część wałów.

Ostatnim właścicielem majątku drujskiego był generał artylerii litewskiej książę Franciszek Sapieha (1772-1829), który około 1824 r. fikcyjnie sprzedał Druję (najprawdopodobniej podarował zarządcy własnego majątku, niejakiemu Józefowi Miłoszowi. Noblista pisał w „Szukaniu ojczyzny”:

„Józef Miłosz, urodzony gdzieś przed 1790, wyruszył na wschód i wstąpił na służbę u książąt Sapiehów. Tutaj służył w administracji i pracowitością, rzetelnością, jak i innemi dodatkowymi cechami zdobył u Ks. Sapiehy zaufanie i bezgraniczną wiarę. […] Wedle ukazu carskiego Sapieha nie chcąc przyjąć poddaństwa rosyjskiego, był zmuszony wyprzedać swe majątki. Miłosz, któremu Sapieha nie miał powodów nie ufać, zaproponował że wyprzeda majątki według ustalonego klucza, za co otrzymał darowiznę upozorowaną aktem kupna […]”.

Po nim dobra przejął jego syn, lekarz Eugeniusz (zm. 1885 r.). Miłoszowie mieszkali w dawnym zamku Sapiehów, który Eugeniusz odbudował po pożarze w 1812 r. W rzeczywistości postawiono nowy dwór, być może z wykorzystaniem fragmentów zamku Sapiehów. Nowy obiekt, z uwagi na miejsce jego umieszczenia i szacunek dla tradycji, nazywano wówczas Zamkiem. Kolejnym właścicielem był syn Eugeniusza i Emilii Miłoszów o tym samym imieniu co ojciec (zm. 1908), a następnym jego brat Józef (zm. 1914), żonaty z Marią Kowalewską. Jego córka Emilia w niezbyt jasnych okolicznościach przed 1914 r. wyprzedała większość ziemi w Drui, łącznie z Zamkiem. W międzywojniu okrojone dobra znajdowały się w ręku spadkobierców Józefa, prawdopodobnie Marii z Kowalewskich Miłoszowej, a w dawnym domu Miłoszów umieszczono koszary Korpusu Ochrony Pogranicza i siedzibę przebudowano, dostosowując ją do nowej funkcji.

Po II wojnie światowej w budynku umieszczono sanatorium przeciwgruźlicze „Druja”, następnie szpital i ośrodek zdrowia. Wokół zachowały się fragmenty podworskiego parku i jeden budynek gospodarczy.

Drujscy Miłoszowie byli krewnymi poety, który pisał o nich w swojej książce „Szukanie ojczyzny”.

Dawna rezydencja rodziny Miloszów stoi nad brzegiem Dźwiny, na dawnym przedmieściu noszącym nazwę Swoboda Sapieżyńska. Budowlę wzniesiono na planie prostokąta, na wysokich suterenach. Elewacje frontową i ogrodową ozdabiają trzy ryzality. W centralnym, od frontu, umieszczono szerokie schody. Centralny w elewacji ogrodowej jest zamknięty pięciobocznie. Dwór był wielokrotnie przebudowywany i zatracił swoją wartość zabytkową.