Przed bramą główną cmentarza na Rossie znajduje się cmentarz wojskowy, który został założony po wojnie 1920 r. Początkowo miejsce wiecznego spoczynku znaleźli tu polscy oficerowie i ochotnicy polegli w walkach o Wilno w latach 1919-1920. Pośrodku tej nekropolii, na niewielkim wzniesieniu pod murem cmentarnym, spoczywają szczątki Marii z Bilewiczów Piłsudskiej i serce jej syna - pierwszego Marszałka Polski Józefa Piłsudskiego zmarłego 12.05.1935 r. Pogrzeb serca Marszałka i trumny ze szczątkami matki odbył się 12.05.1936 r. Cmentarz, przebudowany z tej okazji według projektu prof. Wojciecha Jastrzębowskiego z Krakowa, został ogrodzony granitowym murem z małą kapliczką Matki Boskiej Ostrobramskiej przy bramie. We wrześniu 1939 r. pogrzebano tu ciała trzech żołnierzy Wojska Polskiego, poległych w walkach z Sowietami w okolicach cmentarza. W lipcu 1944 r. dokonano kolejnych pochówków, grzebiąc ciała żołnierzy Armii Krajowej, poległych podczas operacji „Ostra Brama”. Po zakończeniu II wojny światowej i wyjeździe większości Polaków z Wilna, cmentarz niszczał z powodu braku opieki oraz z powodu celowej dewastacji, której świadectwem są pozostawione na niektórych grobach żołnierskich ślady po kulach karabinowych. W 1993 r. Rada Ochrony Pamięci Walk i Męczeństwa dokonała przebudowy cmentarza, urządzając w sposób trwały groby żołnierzy poległych w 1939 r. oraz groby partyzantów AK. Pochówki te skupione zostały w 3 rzędach po obu stronach nagrobka Marii Piłsudskiej i syna, nawiązując wyglądem do nagrobków żołnierskich z 1920 r. – wykonane zostały w identycznej formie, jedynie na krzyżach umieszczono niewielki emblemat Polski Walczącej. W późniejszym okresie Rada OPWiM wielokrotnie prowadziła prace remontowe na tym cmentarzu, a w 2009 r. dokonała tu pochówku szczątków żołnierza AK, ekshumowanych z majątku Gulbiny Wielkie pod Wilnem. Po likwidacji Rady OPWiM w 2016 r., opiekę nad cmentarzem przejęło Ministerstwo Kultury i Dziedzictwa Narodowego. Obecnie spoczywa tu 242 żołnierzy - 164 żołnierzy poległych w latach 1919-1920, 3 żołnierzy poległych 17.09.1939 r. oraz 75 partyzantów Armii Krajowej.