En 1496, le grand-duc de Lituanie Alexandre a accordé Druja à Timothy Massalsky, qui y a construit un château ou, ce que nous ne savons pas avec certitude, a étendu les fortifications antérieures qui existaient à cet endroit. En 1611, le Grand Chancelier de Lituanie Lev Sapieha (1557-1633) acquiert des fragments du village et du château, et pendant près de deux siècles, le domaine reste entre les mains de la famille. Le même chancelier a construit le château dans la première moitié du XVIIe siècle, mais les propriétaires n'en ont pas profité très longtemps. L'importance de ce bâtiment défensif diminua au fil des guerres. À la fin du XVIIIe siècle, il ne restait plus grand-chose de l'édifice qui fut incendié par l'armée russe en 1664. Seule une partie des remparts a survécu jusqu'à aujourd'hui.

Le dernier propriétaire du domaine de Druja fut le général d'artillerie lituanien Prince Franciszek Sapieha (1772-1829), qui vendit fictivement Druja vers 1824 (il l'a probablement donné à l'administrateur de son propre domaine, un certain Joseph Milosz). Le lauréat du prix Nobel a écrit dans Looking for the Homeland :

"Józef Miłosz, né quelque part avant 1790, se rendit à l'Est et entra au service des princes Sapieha. Là, il a servi dans l'administration et, par sa diligence, sa fiabilité et d'autres qualités supplémentaires, il a gagné la confiance et la foi illimitée du prince Sapieha. [...] En vertu d'un décret tsariste, Sapieha, ne voulant pas accepter le servage russe, est contraint de vendre ses domaines. Miłosz, dont Sapieha n'avait aucune raison de se méfier, lui proposa de vendre ses domaines selon une clé fixe, pour laquelle il reçut une donation constituée par un acte d'achat [...]".

Après lui, le domaine est repris par son fils, le docteur Eugène (d. 1885). La famille Miłosz habitait l'ancien château des Sapiehs, qu'Eugeniusz reconstruisit après un incendie en 1812. En fait, un nouveau manoir a été érigé, peut-être en utilisant des parties du château des Sapiehs. Le nouveau bâtiment, en raison de son emplacement et du respect de la tradition, fut alors appelé le Château. Le propriétaire suivant était le fils d'Eugeniusz et d'Emilia Miłosz, du même nom que son père (mort en 1908), et son frère Józef (mort en 1914), marié à Maria Kowalewska. Sa fille Emilia, dans des circonstances peu claires avant 1914, a vendu la plupart des terres de Drua, y compris le château. Dans l'entre-deux-guerres, le domaine tronqué était aux mains des héritiers de Józef, probablement Maria de Kowalewska Miłoszowa, et dans l'ancienne maison de la famille Miłosz, les baraquements du Corps de protection des frontières ont été placés et la résidence reconstruite, en l'adaptant à sa nouvelle fonction.

Après la Seconde Guerre mondiale, le bâtiment a abrité le sanatorium pour tuberculeux de Druja, puis un hôpital et un centre de santé. Des parties du parc de la cour et une dépendance ont été conservées.

La famille Druja Miłosz était apparentée au poète, qui l'a évoquée dans son livre "À la recherche de la patrie".

L'ancienne résidence de la famille Milosz se trouve sur la rive de la Dvina, dans un ancien faubourg appelé Svoboda Sapiezhina. Le bâtiment a été construit sur un plan rectangulaire, sur des sous-sols élevés. Les façades avant et du jardin sont décorées de trois risalits. Celui du centre, à l'avant, comporte un large escalier. Le risalit central de l'élévation du jardin est fermé par un pentagone. Le manoir a été reconstruit plusieurs fois et a perdu sa valeur historique.