Сучасна естонська назва міста походить від вапнякової скелі, на якій розташована вся північна Естонія. Перша історична назва населеного пункту «Weissenstein» також означала з німецької мови «світлий камінь», подібно до назви, прийнятої в польській номенклатурі, — «Білий Камінь». Історія населеного пункту сягає XIII століття, коли на перехресті інфландських шляхів було зведено найпівнічнішу фортецю Тевтонського ордену, що межувала з територіями, які на той час перебували під датським пануванням. Перші кам’яні укріплення (разом із центральною потужною вежею) було зведено у 1265 році з ініціативи магістра Тевтонського ордену в Інфлантії — Конрада фон Мандерна. Спочатку замок у ієрархії ордену функціонував як резиденція управи, а навколо фортеці виникло поселення, яке у 1291 році отримало міські права. Економічний розвиток цього центру та зростання його військового значення призвели на початку XIV століття до підвищення замку до рангу коментурії. Історичні джерела вказують Раймара Гана як першого комендора, що виконував обов’язки у Вайсенштайні в 1314–1316 роках. Навесні 1343 року замок став свідком важливих подій під час естонського повстання в ніч на святого Георгія. Саме тут відбувалися переговори між чотирма лідерами повстання, делегованими старійшинами (яких пізніше називали «естонськими королями»), яких тевтонські лицарі таємно ув’язнили, а потім вбили. Білий Камінь увійшов в історію Польщі на початку XVII століття двічі як місце слави польського війська. Це сталося під час Другої польсько-шведської війни. Вперше фортецю було взято польськими військами наприкінці вересня 1602 року. Облога тривала чотири місяці, і це була остання кампанія під командуванням великого коронного гетьмана Яна Замойського. Наступна перемога під Білим Камнем відбулася 25 вересня 1604 року. Тоді польські війська чисельністю дві тисячі під командуванням королівського намісника, польового гетьмана Яна Кароля Ходкевича, зіткнулися з семитисячною шведською армією під командуванням Арвіда Штеларма та іспанського найманця Алонсоачо де Канута. Вирішальним для результату битви став штурм польської гусарії, який розгромив головні сили супротивника. Поляки втратили в битві менше 100 воїнів, тоді як шведи — близько 3 000. Однак польське панування тривало недовго, і вже через чотири роки замок повернувся до Швеції. Частково зруйнована фортеця незабаром втратила військове значення, поступово занепадаючи. Знизився також статус міста, яке в 1636 році втратило міські права, відновивши їх лише в другій половині XVIII століття.

Сучасне Пайде — це провінційне місто з населенням трохи менше восьми тисяч мешканців, яке завдяки своєму центральному розташуванню іноді називають «серцем Естонії». Відстань до основних естонських агломерацій звідси невелика: до Таллінна (90 км), до Тарту (100 км) і до Парнави (105 км). З цієї причини протягом певного періоду XX століття на міському гербі фігурував символ серця. Наразі місто повернулося до історичного герба з білою замковою вежею, яка залишається найхарактернішим елементом міської архітектури. Висока восьмикутна споруда заввишки 30 м, яку видно здалеку, є найвеличнішою пам’яткою середньовічної фортеці Ордену мечоносців. Однак це її точна реконструкція, виконана в першій половині 90-х років XX століття. Первісна споруда простояла майже сім століть, але в 1941 році була підірвана радянськими військами під час відступу. Наразі всередині споруди на п’яти рівнях розміщена музейна експозиція, присвячена історії замку та міста (найвищий рівень виконує функцію оглядового майданчика). Територію колишнього замку перетворили на прогулянковий парк з амфітеатром. Окрім головної вежі (яку в народі називають «Довгий Герман») збереглося чітке оборонне планування з чотирма бастіонами та кам’яними залишками укріплень: порохової вежі та водної брами (північно-східний кут), західних воріт (що межують із головною вежею), куртини оборонних стін (з північно-західного боку) та оголених фундаментів колишніх будівель (ймовірно: каплиці, капітулярної зали та трапезної). З південного боку до замкового пагорба примикає парафіяльний костел Святого Хреста. Свій кам’яний вигляд храм набув у XVIII столітті, однак після пожежі 1845 року його було перебудовано. У збереженому об’єкті це однонефний храм на прямокутному плані з масивною вежею (увінчаною високою куполом зі шпилем), що прилягає до південної стіни нефа. В результаті перебудови, проведеної на початку XX століття, церква виконана в неоготичному стилі. Поруч розташована колишня ринкова площа (нині засаджена деревами) з міською забудовою, частково XIX століття. Південну частину ринкової площі займає велична двоповерхова будівля ратуші з фасадом у стилі сецесіон, зведена у 1920 році.