En 1496, le grand-duc de Lituanie Alexandre a accordé Druja à Timothy Massalsky, qui y a construit un château ou, ce que nous ne savons pas avec certitude, a agrandi les fortifications antérieures qui existaient à cet endroit. En 1611, le Grand Chancelier de Lituanie Lev Sapieha (1557-1633) acquiert des fragments du village et du château, et pendant près de deux siècles, le domaine reste entre les mains de la famille. Le même chancelier a construit le château dans la première moitié du XVIIe siècle, mais les propriétaires n'en ont pas profité très longtemps. L'importance de ce bâtiment défensif diminua au fil des guerres. À la fin du XVIIIe siècle, il ne restait plus grand-chose de l'édifice qui fut incendié par l'armée russe en 1664. Seule une partie des remparts a survécu jusqu'à aujourd'hui.

Le dernier propriétaire du domaine de Druja fut le général d'artillerie lituanien Prince Franciszek Sapieha (1772-1829), qui vendit fictivement Druja vers 1824 (il l'a très probablement donné à l'administrateur de son propre domaine) à un certain Joseph Milosz. Le lauréat du prix Nobel a écrit dans Looking for the Homeland :

"Józef Miłosz, né quelque part avant 1790, se rendit à l'Est et entra au service des princes Sapieha. Il a servi dans l'administration et, grâce à sa diligence, sa fiabilité et d'autres qualités supplémentaires, il a gagné la confiance et la foi illimitée du prince Sapieha [...] Conformément à un décret tsariste, Sapieha, qui ne voulait pas accepter le servage russe, a été contraint de vendre ses domaines. Miłosz, dont Sapieha n'avait aucune raison de se méfier, lui proposa de vendre ses domaines selon une clé fixe, ce pour quoi il reçut une donation constituée par un acte d'achat [...].

Après lui, le domaine est repris par son fils, un médecin, Eugeniusz (mort en 1885). La famille Miłosz habitait l'ancien château de Sapieha, qu'Eugeniusz reconstruisit après un incendie en 1812. En fait, un nouveau manoir a été érigé, peut-être en utilisant des parties du château des Sapiehs. Le nouveau bâtiment, en raison de son emplacement et du respect de la tradition, fut alors appelé le Château. Le propriétaire suivant était le fils d'Eugeniusz et d'Emilia Miłosz, du même nom que son père (décédé en 1908), et son frère Józef (décédé en 1914) marié à Maria Kowalewska. Sa fille Emilia, dans des circonstances peu claires avant 1914, a vendu la plupart des terres de Drua, y compris le château. Dans l'entre-deux-guerres, le domaine tronqué était entre les mains des héritiers de Józef, probablement Maria de Kowalewska Miłoszowa, et l'ancienne maison Miłosz a été utilisée comme caserne pour le Corps de protection des frontières et la résidence a été reconstruite, l'adaptant à sa nouvelle fonction.

Après la Seconde Guerre mondiale, le bâtiment a abrité le sanatorium pour tuberculeux de Druja, puis un hôpital et un centre de santé. Des parties du parc de la cour et une dépendance ont été conservées.

La famille Druja Miłosz était apparentée au poète, qui l'a évoquée dans son livre "À la recherche de la patrie".

L'ancienne résidence de la famille Milosz se trouve sur la rive de la Dvina, dans un ancien faubourg appelé Svoboda Sapiezhina. Le bâtiment a été construit sur un plan rectangulaire, sur des sous-sols élevés. Les façades avant et du jardin sont décorées de trois risalits. Celui du centre, à l'avant, comporte un large escalier. Celui de l'élévation du jardin est fermé par un pentagone. Le manoir a été reconstruit à plusieurs reprises et a perdu sa valeur historique.