Józef Gardecki urodził się na warszawskiej Woli jako syn Józefa, dorożkarza i gospodyni domowej Walerii z Korytkowskich. Dorastał w skromnym domu, a w wieku 12 lat rozpoczął edukację artystyczną w Warszawskiej Szkole Rysunku na Placu Teatralnym gdzie nawiązał długoletnią przyjaźń z artystą Janem Rembowskim. Po ukończeniu szkoły rozpoczął nanaukę zawodu cyzelera w fabryce sreber i platerów Norblina, którą ukończył jako czeladnik kunsztu brązowniczego i złotniczego. W międzyczasie prowadził amatorski teatr pracowniczy. 

W 1901 roku rozpoczął studia na krakowskiej Akademii Sztuk Pięknych a w 1905 wziął ślub z Jadwigą Rudnicką. Po ceremonii ślubnej małżeństwo odwiedziło brata Rudnickiej, więzionego na Pawiaku za działalność rewolucyjną. Gardecki pomagał ruchowi robotniczemu pod zaborami, przemycając nielegalne wydawnictwa Polskiej Partii Socjalistycznej, które rozdawał robotnikom i chłopom. W następnych latach wyjechał do Paryża, gdzie lekcji rzeźby udzielał mu Auguste Rodin w latach 1907-1909. Od 1910 roku prowadził w Warszawie pracownię rzeźbiarsko-sztukatorską, aktywną do 1926, choć na czas trwania I wojny światowej wyjechał do Szwecji. Zarówno przed jak i po wojnie zajmował się pracami architektonicznymi, pracując m.in. nad Hotelem Europejskim czy Starym Teatrem w Krakowie. W Od 1926 poświęcił się głównie rzeźbie oraz pisaniu. Przyjaźnił się z m.in. ze Stefanią Sempołowską i Władysławem Tatarkiewiczem.

Cały dorobek artystyczny utracił podczas powstania warszawskiego, gdy jego mieszkanie i pracownia spłonęły w pożarze. Umarł w 1952 roku i pochowany został na Cmentarzu Powązkowskim.