Józef Gardecki est né dans le quartier de Wola, à Varsovie, de Józef, chauffeur de taxi, et de Waleria, née Korytkowska, femme au foyer. Il grandit dans un foyer modeste et, à l'âge de 12 ans, commence son éducation artistique à l'école de dessin de Varsovie, sur la place Teatralny, où il se lie d'une longue amitié avec l'artiste Jan Rembowski. Après avoir obtenu son diplôme, il commence à apprendre le métier d'étain à la fabrique d'argent et de platine Norblin, d'où il sort avec le titre de compagnon dans le domaine du bronze et de l'orfèvrerie. Entre-temps, il dirige un théâtre amateur d'employés.

En 1901, il commence ses études à l'Académie des beaux-arts de Cracovie et, en 1905, il épouse Jadwiga Rudnicka. Après la cérémonie de mariage, le couple rend visite au frère de Rudnicka, emprisonné à la prison de Pawiak pour activités révolutionnaires. Gardecki aide le mouvement ouvrier sous les cloisons en faisant passer en contrebande des publications illégales du parti socialiste polonais, qu'il distribue aux ouvriers et aux paysans. Les années suivantes, il se rend à Paris, où il suit les cours de sculpture d'Auguste Rodin entre 1907 et 1909. À partir de 1910, il dirige un atelier de sculpture et d'art à Varsovie, actif jusqu'en 1926, bien qu'il parte pour la Suède pendant la durée de la Première Guerre mondiale. Avant et après la guerre, il participe à des travaux d'architecture, notamment à l'Hôtel européen et au Vieux Théâtre de Cracovie. À partir de 1926, il se consacre principalement à la sculpture et à l'écriture. Il était notamment ami avec Stefania Sempołowska et Władysław Tatarkiewicz.

Il a perdu toute sa production artistique lors de l'insurrection de Varsovie, lorsque son appartement et son studio ont été brûlés dans un incendie. Il meurt en 1952 et est enterré au cimetière de Powązki.