Współczesna estońska nazwa miasta pochodzi od skały wapiennej, na której jest położona cała północna Estonia. Pierwsza historyczna nazwa miejscowości „Weissenstein” również oznaczała z języka niemieckiego „jasny kamień”, podobnie jak nazwa przyjęta w polskim nazewnictwie - Biały Kamień. Historia miejscowości sięga XIII wieku, gdy na skrzyżowaniu inflanckich szlaków wzniesiono najdalej na północ wysuniętą krzyżacką warownię graniczącą z terenami wówczas znajdującymi się pod panowaniem duńskim. Pierwsze kamienne fortyfikacje (wraz z centralną potężną wieżą) wzniesiono w 1265 roku z inicjatywy krzyżackiego mistrza krajowego Inflant - Konrada von Mandern. Początkowo zamek w hierarchii zakonnej funkcjonował jako siedziba wójtostwa, zaś wokół warowni powstała osada, która w 1291 roku otrzymała prawa miejskie. Rozwój gospodarczy ośrodka i wzrost znaczenia militarnego zaowocowały na początku XIV wieku podniesieniem zamku do rangi komturii. Źródła historyczne jako pierwszego urzędującego w Weissenstein komtura podają Raimara Hahna w latach 1314 - 1316. Zamek wiosną 1343 roku był świadkiem istotnych wydarzeń podczas estońskiego powstania w noc świętego Jerzego. Tu odbywały się negocjacje między czterema przywódcami powstania delegowanymi ze starszyzny (później określanymi jako „estońscy królowie”), których Krzyżacy potajemnie uwięzili i następnie zamordowali. Biały Kamień w historii Polski zapisał się na początku XVII wieku dwukrotnie jako miejsce chwały polskiego oręża. Miało to miejsce podczas II wojny polsko-szwedzkiej. Po raz pierwszy twierdza została zdobyta przez wojska polskie pod koniec września 1602 roku. Oblężenie trwało cztery miesiące i była to ostatnia kampania dowodzona przez hetmana wielkiego Koronnego Jana Zamoyskiego. Do kolejnego zwycięstwa pod Białym Kamieniem doszło 25 września 1604 roku. Wówczas wojska polskie w ilości 2 tys. pod dowództwem namiestnika królewskiego hetmana polnego Jana Karola Chodkiewicza starły się z liczącą 7 tys. armią szwedzką dowodzoną przez Arvida Stälarma i najemnika hiszpańskiego Alonzo Cacho de Canuta. Kluczowym dla rozstrzygnięcia bitwy była szarża polskiej husarii, która rozbiła główne siły przeciwnika. Polacy stracili w bitwie niespełna 100 żołnierzy, przy około 3.000 poległych Szwedów. Panowanie polskie nie trwało jednak długo i zaledwie po czterech latach zamek powrócił do Szwecji. Warownia częściowo zniszczona, wkrótce utraciła militarne znaczenie, stopniowo popadając w ruinę. Spadła również ranga miasta, które w 1636 roku utraciło prawa miejskie, odzyskując je ponownie dopiero w drugiej połowie XVIII wieku.

Współczesne Paide to prowincjonalne miasto liczące niespełna 8 tys. mieszkańców, które bywa z tytułu swojego centralnego położenia określane „sercem Estonii”. Do głównych estońskich aglomeracji jest stąd zbliżona odległość: do Tallina (90 km), do Tartu (100 km) i do Parnawy (105 km). Z tego powodu przez pewien okres w XX wieku symbol serca widniał na miejskim herbie miejscowości. Obecnie powrócono do historycznego herbu miasta z białą wieżą zamkową, która pozostaje najbardziej charakterystycznym elementem miejskiej architektury. Z daleka widoczna strzelista ośmioboczna budowla o 30 m wysokości jest najbardziej okazałą pozostałością po średniowiecznej twierdzy Zakonu Kawalerów Mieczowych. Jest to jednak jej wierna rekonstrukcja wykonana w pierwszej połowie lat 90. XX wieku. Pierwotna budowla przetrwała blisko siedem wieków, jednak w 1941 roku została wysadzona w powietrze przez wycofujące się oddziały radzieckie. Obecnie wewnątrz budowli na pięciu poziomach mieści się ekspozycja muzealna poświęcona historii zamku i miasta (najwyższy poziom pełni funkcję tarasu widokowego). Teren dawnego zamku zaadaptowano na park spacerowy z amfiteatrem. Poza wieżą główną (określaną potocznie jako „Długi Herman”) zachował się czytelny układ obronny z czterema bastionami oraz kamiennymi reliktami umocnień: wieży prochowej i bramy wodnej (północno-wschodni narożnik), bramy zachodniej (sąsiadującej z główną wieża), kurtyny murów obronnych (od strony północno-zachodniej) oraz odkrytymi fundamentami dawnej zabudowy (prawdopodobnie: kaplicy, kapitularza i refektarza). Ze wzgórzem zamkowym od strony południowej sąsiaduje kościół parafialny Św. Krzyża. Kamienną formę świątynia otrzymała w XVIII wieku, jednak po pożarze w 1845 roku została przebudowana. W zachowanej bryle jest to świątynia jednonawowa osadzona na planie prostokąta z masywną wieżą (zwieńczoną strzelistą kopułą z iglicą) przylegającą do południowej ściany nawy. W wyniku przeprowadzonej na początku XX wieku przebudowy kościoła reprezentuje on styl neogotycki. W sąsiedztwie znajduje się dawny rynek (obecnie obsadzony drzewami) z zabudową miejską częściowo z XIX wieku. Południową pierzeję rynku zajmuje okazały dwukondygnacyjny gmach ratusza z secesyjną fasadą, wzniesiony w 1920 roku.