Przed bramą główną Cmentarza na Rossie znajduje się cmentarz wojskowy, który został założony po wojnie 1920 r. Początkowo miejsce wiecznego spoczynku znaleźli tu polscy oficerowie i ochotnicy polegli w walkach o Wilno w latach 1919-1920. 

Pośrodku tej nekropolii, na niewielkim wzniesieniu pod murem cmentarnym, spoczywają szczątki Marii z Bilewiczów Piłsudskiej i serce jej syna - pierwszego Marszałka Polski Józefa Piłsudskiego zmarłego 12 maja 1935 r. Pogrzeb serca Marszałka i trumny ze szczątkami matki odbył się 12 maja 1936 r. Cmentarz, przebudowany z tej okazji według projektu prof. Wojciecha Jastrzębowskiego z Krakowa, został ogrodzony granitowym murem z małą kapliczką Matki Boskiej Ostrobramskiej przy bramie. 

We wrześniu 1939 r. pogrzebano tu ciała trzech żołnierzy Wojska Polskiego, poległych w walkach z Sowietami w okolicach cmentarza. W lipcu 1944 r. dokonano kolejnych pochówków, grzebiąc ciała żołnierzy Armii Krajowej, poległych podczas operacji „Ostra Brama”.

Po zakończeniu II wojny światowej i wyjeździe większości Polaków z Wilna, cmentarz niszczał z powodu braku opieki oraz z powodu celowej dewastacji, której świadectwem są pozostawione na niektórych grobach żołnierskich ślady po kulach karabinowych. 

W 1993 r. Rada Ochrony Pamięci Walk i Męczeństwa dokonała przebudowy cmentarza, urządzając w sposób trwały groby żołnierzy poległych w 1939 r. oraz groby partyzantów AK. Pochówki te skupione zostały w 3 rzędach po obu stronach nagrobka Marii Piłsudskiej i syna, nawiązując wyglądem do nagrobków żołnierskich z 1920 r. - wykonane zostały w identycznej formie, jedynie na krzyżach umieszczono niewielki emblemat Polski Walczącej. W późniejszym okresie Rada OPWiM wielokrotnie prowadziła prace remontowe na tym cmentarzu, a w 2009 r. dokonała tu pochówku szczątków żołnierza AK, ekshumowanych z majątku Gulbiny Wielkie pod Wilnem. 

Po likwidacji Rady OPWiM w 2016 r., opiekę nad cmentarzem przejęło Ministerstwo Kultury i Dziedzictwa Narodowego. Obecnie spoczywa tu 242 żołnierzy - 164 żołnierzy poległych w latach 1919-1920, 3 żołnierzy poległych 17 września 1939 r. oraz 75 partyzantów Armii Krajowej.

Dnia 23 września 2025 r. pogrzebano tu kolejnych 6 żołnierzy AK - podkomendnych Sergiusza Zyndrama-Kościałkowskiego, poległych 4 lutego 1945 r. pod Raubiszkami w walce z oddziałami NKWD. Szczątki tych żołnierzy zostały ekshumowane w 2020 r. przez Instytut Pamięci Narodowej; w wyniku badań genetycznych ustalono nazwisko 1 żołnierza - Edwarda Borkowskiego. Żołnierzy pochowano w lewej części cmentarza, w pobliżu grobu ich dowódcy.