Jérusalem et Tel Aviv, les plus grandes villes de Palestine à l'époque, ont accueilli le plus grand nombre de réfugiés civils polonais arrivés en 1939-1941 dans le cadre de l'évacuation de la Hongrie, de la Roumanie et des Balkans, puis en 1942. - Les réfugiés polonais sont arrivés de l'URSS via l'Iran. Dans ces régions arrivent non seulement des civils, mais aussi des soldats, parmi lesquels se forme le 2e corps polonais.

Dans la partie sud du cimetière catholique de Jérusalem, sur le mont Sion, sous la responsabilité des Pères franciscains de la Custodie de Terre Sainte, se trouve une section polonaise. Quatre-vingt-six personnes décédées entre 1942 et 1946 y sont enterrées, aussi bien des soldats (18 tombes) que des civils. Trois Tchèques y sont également enterrés : Jindra Blažek (1914-1943), Leo Perutz (1890-1944) et Jiři Linhart (1920-1944). Plus tard, une vingtaine d'autres réfugiés polonais ont été inhumés dans d'autres parties de la nécropole.

Des informations situées au-dessus de l'entrée du cimetière indiquent la tombe d'Oskar Schindler, un industriel allemand qui a sauvé de l'extermination les employés juifs de son usine à Cracovie. Il est enterré juste à côté de la section des tombes polonaises.

Les tombes ont été entretenues après la Seconde Guerre mondiale par des prêtres polonais, des religieuses élisabéthaines et les quelques Polonais vivant à Jérusalem. Le cimetière était gardé par un gardien engagé par la paroisse.

En 1998, grâce à des fonds de l'ambassade de Pologne en Israël, un inventaire de toutes les tombes polonaises du cimetière a été réalisé. Malheureusement, certaines inscriptions étaient déjà effacées. En 2006, une rénovation a été effectuée grâce à des fonds du Conseil pour la protection des sites de lutte et de martyre, dans le cadre de laquelle certaines pierres tombales ont été restaurées. Un monument en forme de borne kilométrique a été érigé à l'entrée du cimetière, avec une forme rectangulaire caractéristique, uniforme pour les cimetières de réfugiés de l'URSS, et surmonté d'un bas-relief d'aigle. Le monument porte une inscription en polonais et en anglais : "EN HOMMAGE / AUX POTEAUX / REPOSANT DANS CE CIMETIÈRE / CIVILS ET SOLDATS / DU 2E CORPS POLONAIS / GEN. WŁADYSŁAW ANDERS / ANCIENS PRISONNIERS DE GUERRE ET PRISONNIERS / DES GOULAGS SOVIÉTIQUES / QUI SONT MORTS SUR LE CHEMIN DE LEUR PATRIE / DANS LES ANNÉES DE LA SECONDE GUERRE MONDIALE / ET APRÈS SA FIN // LA POLOGNE SE SOUVIENT DE VOUS ! / RZECZPOSPOLITA POLSKA / Varsovie Jérusalem / 2007".

En 2018. Le ministère de la Culture et du Patrimoine national a financé d'autres travaux de réparation effectués par la Fondation arménienne afin d'améliorer l'encastrement des croix. Dans le cadre de la mission subventionnée par le programme ministériel "Sites de mémoire nationale à l'étranger", la Fondation s'occupe des tombes polonaises dans le cimetière de Jérusalem, ce qui consiste en un gardiennage et un maintien constant de l'ordre.

Pour des informations plus détaillées sur ce cimetière, voir la monographie du professeur Artur Patek : Polish Cemetery in Jerusalem. Polonais enterrés dans le cimetière catholique du Mont Sion, Cracovie 2009.