Siedziba Koszyców na przestrzeni ostatnich stu lat straciła swój charakter pałacu usytuowanego przy murach miejskich. Mimo to jest nadal ciekawym przykładem wileńskich pałaców.

Pałac Koszyców leżał w południowo-zachodniej części starego Wilna, w pobliżu bramy Rudnickiej, na tyłach kościoła karmelitów trzewiczkowych pw. Wszystkich Świętych i cerkwi bazylianów Trójcy Świętej. Po północnej stronie pałacu Koszyców sąsiadowała z nim siedziba Przezdzieckich. Oba budynki były usytuowane przed prostokątnym placem u zbiegu ulic Końskiej i Wszystkich Świętych, przy którego krótszym boku znajdował się kościół karmelitanek pw. św. Józefa (niezachowany). Pierwotnie z placu nie było przejazdu.

W 1690 r. murowana kamienica przy pl. Końskim - zaczątek pałacu, należała do Michała Koszyca (zm. 1709), pisarza ziemskiego wileńskiego. Już wówczas budynek był wyposażony w instalację wodną, a magistrat pobierał opłatę za udostępnianie wody. Do 1702 r. Koszyc, dobrodziej kolegiów jezuitów i fundator w 1688 r. kościoła tego zakonu na Śnipiszkach, skupował sąsiednie parcele z domami krawca Adama, wdowy Stefanowiczowej i Łomińskich.

Po bezdzietnie zmarłym Koszycu dziedziczył bratanek Stanisław, starosta zarzycki i skarbnik województwa witebskiego. Podjął się on przebudowy gmachów i scalenia ich w jeden reprezentacyjny organizm, powiększony w 1741 r. przez żonę Koszyca - Zofię ze Skrzynna Duninów (zm. 1742). W 1775 r. właścicielami pałacu byli synowie Stanisława i Zofii Koszyców - Mikołaj i Antoni. W 1790 r. realność należała do młodszego z nich - Antoniego (ur. 1720). W tym też czasie podwórze siedziby zostało zamknięte oficyną, przylegającą do murów miejskich. Być może przedłużono wówczas także skrzydło północne.

Po śmierci Antoniego i jego żony Barbary z Woynów właścicielkami realności stały się ich córki, które 5 grudnia 1802 r. przeprowadziły podział majątku. Realność przypadła Anieli (1776-1829), zamężnej z Tadeuszem Szemiotem (1774-1835), która 17 kwietnia 1805 r. sprzedała pałac Janowi Nikodemowi Łopacińskiemu (1747-1810), staroście mścisławskiemu W tym czasie zmieniono układ przestrzenny przed rezydencją, ponieważ, kiedy rozbierano mury miejskie, połączono plac z ul. Bazyliańską.

Kolejnym właścicielem pałacu został Maurycy Buczyński, żonaty z Matyldą Günther von Hildesheim (1811-1867). Siedziba przed 1834 r. została znacznie przebudowana. Dominantą fasady stał się joński portyk z girlandowym fryzem i tympanonem, gdzie wśród stiukowych, stylizowanych motywów roślinnych znalazł się herb Strzemię (niezachowany).


Po śmierci Buczyńskiej pałac dziedziczyły jej siostry Idalia (1813-1888) i Gabriela (1815-1869), które w 1870 r. wystawiły opuszczony i zrujnowany gmach na licytację. Gruntowną rozbudowę pałacu przeprowadził nowy właściciel Robert Barkenberg (zm. 1882). Dążąc do ścisłego zabudowania działki, wystawił od strony ul. Zawalnej dwukondygnacyjny budynek (niezachowany, obecnie stoi na nim gmach o adresie Pylimo g. 56), którego nieregularna bryła wychodziła na ul. Wszystkich Świętych. Inwestycja ta była podejmowana w obliczu trwającego od roku 1867 r. przekształcania pl. Końskiego, kiedy to rozebrano kościół i klasztor karmelitanek bosych, co trwale zmieniło krajobraz tej części Wilna. Jednocześnie przemianom ulegał charakter ul. Zawalnej. Gmach wystawiony przez Barkenberga (do 1865) wychodził wprost na ulicę, która prowadziła do dworca kolejowego (1862).

W 1884 r. posesorem pałacu stał się powszechnie nielubiany administrator z nadania rządu rosyjskiego diecezji wileńskiej w latach 1863-1883, ks. Piotr Żyliński (1816-1887), którego siostra Teresa (zm. 1882) była żoną wspomnianego Bakenberga. Rok później siedziba była już w rękach inżyniera wojskowego A. Ostrowskiego, a w 1888 r. jej właścicielami zostali Oskierkowie. W 1895 r. według projektu Konstantina Korojedowa (1862- po 1912) dokonano niewielkiej przebudowy pałacu, kiedy to w drugiej kondygnacji wprowadzono okna porte-fenêtre i zamontowano żeliwny balkon.