Na starym cmentarzu w Oranach, w samym rogu nekropolii, znajduje się kwatera 14 żołnierzy polskich i 1 litewskiego, którzy polegli lub zmarli w latach 1919-1920. Pochowano tu również 4 policjantów zmarłych w 1923 r. Pierwotnie groby te znajdowały się przy kościele pw. św. Michała Archanioła, za prezbiterium. Pomnik-kolumnę ku czci pochowanych wystawiono w 1931 r. Groby przetrwały okres II wojny światowej, jedynie we wrześniu 1939 r. Sowieci zniszczyli orła wieńczącego kolumnę. 25.09.1995 r. z inicjatywy Litwinów szczątki żołnierzy ekshumowano i przeniesiono w obecne miejsce. Podczas ekshumacji odnaleziono 15 ciał (w tym ciało żołnierza litewskiego), nie znaleziono ciał policjantów (Chodźko Wasyl, Czarnecki Jan, Dziedzic Wojciech, Giżycki Stanisław) - być może były to pochówki symboliczne; w związku z tym do 4 trumienek wsypano po garści ziemi z ekshumowanego grobu. Na cmentarz miała być również przeniesiona kolumna-pomnik z dawnej kwatery, planowano jej ustawienie przy alejce cmentarnej (ze względu na szczupłość miejsca wydzielonego na kwaterę żołnierską), jednak prac tych nie wykonano bezpośrednio po przeniesieniu kwatery. Sprawa przewlekała się przez wiele lat, aż znalazła swój finał w postaci zniszczenia kolumny stojącej przed kościołem. Po interwencji strony polskiej władze litewskie zapowiedziały zrekonstruowanie kolumny, ale nie wywiązały się z tej obietnicy. W 2015 r. kwatera została wyremontowana z funduszy Rady Ochrony Pamięci Walk i Męczeństwa.