W czasie II wojny światowej w Kowlu mieściło się więzienie NKWD. Było ono przeznaczone na 237 więźniów, jednak 10.06.1941 r. przetrzymywano ich ponad trzy razy więcej.

Podczas ewakuacji w 1941 r. NKWD rozstrzelało 195 więźniów, 300 zwolniono, a na miejscu pozostawiono 145 osób, których nie zdążono ewakuować. Ciała zabitych zakopano na miejscowym cmentarzu.

W czerwcu 2000 r. w rogu cmentarza odkryto zbiorową mogiłę, w której odnaleziono szczątki ofiar NKWD. Prace ekshumacyjne w tej mogile prowadzono zgodnie z pozwoleniem władz miasta Kowla. Inicjatorem prac było Lwowskie Obwodowe Towarzystwo „Poszuk”. Po badaniach antropologicznych w dniu 25.11.2000 r. dokonano ponownego pochówku odnalezionych szczątków.

Nowy grób znajduje się na skraju cmentarza, w dość wyeksponowanym miejscu. Jest to mogiła ziemna, na niej ustawiono drewniany krzyż z przytwierdzoną do niego tablicą w dwóch językach (polskim i ukraińskim). Inskrypcja głosi: „Tu są pochowane szczątki ofiar kowelskiego więzienia / rozstrzelanych w czerwcu 1941 r. i ekshumowanych na cmentarzu / 13-14 czerwca 2000 r. Razem spoczywają młodzi polscy żołnierze, / którzy zginęli z rąk NKWD w 1939-1941 r. / Wieczna pamięć ofiarom bolszewickiego terroru. / Mieszkańcy Kowla”.