Współczesna estońska nazwa miasta pochodzi od skały wapiennej, na której jest położona cała północna Estonia. Pierwsza historyczna nazwa miejscowości „Weissenstein” również oznaczała z języka niemieckiego „jasny kamień”, podobnie jak nazwa przyjęta w polskim nazewnictwie - Biały Kamień. Historia miejscowości sięga XIII w., gdy na skrzyżowaniu inflanckich szlaków wzniesiono najdalej na północ wysuniętą krzyżacką warownię graniczącą z terenami wówczas znajdującymi się pod panowaniem duńskim. Pierwsze kamienne fortyfikacje (wraz z centralną potężną wieżą) wzniesiono w 1265 r. z inicjatywy krzyżackiego mistrza krajowego Inflant - Konrada von Mandern. Początkowo zamek w hierarchii zakonnej funkcjonował jako siedziba wójtostwa, zaś wokół warowni powstała osada, która w 1291 r. otrzymała prawa miejskie. Rozwój gospodarczy ośrodka i wzrost znaczenia militarnego zaowocowały na początku XIV w. podniesieniem zamku do rangi komturii. Źródła historyczne jako pierwszego urzędującego w Weissenstein komtura podają Raimara Hahna w latach 1314-1316. Zamek wiosną 1343 r. był świadkiem istotnych wydarzeń podczas estońskiego powstania w noc świętego Jerzego. Tu odbywały się negocjacje między czterema przywódcami powstania delegowanymi ze starszyzny (później określanymi jako „estońscy królowie”), których Krzyżacy potajemnie uwięzili i następnie zamordowali. Biały Kamień w historii Polski zapisał się na początku XVII w. dwukrotnie jako miejsce chwały polskiego oręża. Miało to miejsce podczas II wojny polsko-szwedzkiej. Po raz pierwszy twierdza została zdobyta przez wojska polskie pod koniec września 1602 r. Oblężenie trwało cztery miesiące i była to ostatnia kampania dowodzona przez hetmana wielkiego Koronnego Jana Zamoyskiego. Do kolejnego zwycięstwa pod Białym Kamieniem doszło 25 września 1604 r. Wówczas wojska polskie w ilości dwóch tysięcy pod dowództwem namiestnika królewskiego hetmana polnego Jana Karola Chodkiewicza starły się z liczącą siedem tysięcy armią szwedzką dowodzoną przez Arvida Stälarma i najemnika hiszpańskiego Alonzo Cacho de Canuta. Kluczowym dla rozstrzygnięcia bitwy była szarża polskiej husarii, która rozbiła główne siły przeciwnika. Polacy stracili w bitwie niespełna 100 żołnierzy, przy około 3.000 poległych Szwedów. Panowanie polskie nie trwało jednak długo i zaledwie po czterech latach zamek powrócił do Szwecji. Warownia częściowo zniszczona, wkrótce utraciła militarne znaczenie, stopniowo popadając w ruinę. Spadła również ranga miasta, które w 1636 r. utraciło prawa miejskie, odzyskując je ponownie dopiero w drugiej połowie XVIII w.

Współczesne Paide to prowincjonalne miasto liczące niespełna osiem tysięcy mieszkańców, które bywa z tytułu swojego centralnego położenia określane „sercem Estonii”. Do głównych estońskich aglomeracji jest stąd zbliżona odległość: do Tallina (90 km), do Tartu (100 km) i do Parnawy (105 km). Z tego powodu przez pewien okres w XX w. symbol serca widniał na miejskim herbie miejscowości. Obecnie powrócono do historycznego herbu miasta z białą wieżą zamkową, która pozostaje najbardziej charakterystycznym elementem miejskiej architektury. Z daleka widoczna strzelista ośmioboczna budowla o 30 m wysokości jest najbardziej okazałą pozostałością po średniowiecznej twierdzy Zakonu Kawalerów Mieczowych. Jest to jednak jej wierna rekonstrukcja wykonana w pierwszej połowie lat 90. XX w. Pierwotna budowla przetrwała blisko siedem wieków, jednak w 1941 r. została wysadzona w powietrze przez wycofujące się oddziały radzieckie. Obecnie wewnątrz budowli na pięciu poziomach mieści się ekspozycja muzealna poświęcona historii zamku i miasta (najwyższy poziom pełni funkcję tarasu widokowego). Teren dawnego zamku zaadaptowano na park spacerowy z amfiteatrem. Poza wieżą główną (określaną potocznie jako „Długi Herman”) zachował się czytelny układ obronny z czterema bastionami oraz kamiennymi reliktami umocnień: wieży prochowej i bramy wodnej (północno-wschodni narożnik), bramy zachodniej (sąsiadującej z główną wieża), kurtyny murów obronnych (od strony północno-zachodniej) oraz odkrytymi fundamentami dawnej zabudowy (prawdopodobnie: kaplicy, kapitularza i refektarza). Ze wzgórzem zamkowym od strony południowej sąsiaduje kościół parafialny Św. Krzyża. Kamienną formę świątynia otrzymała w XVIII w., jednak po pożarze w 1845 r. została przebudowana. W zachowanej bryle jest to świątynia jednonawowa osadzona na planie prostokąta z masywną wieżą (zwieńczoną strzelistą kopułą z iglicą) przylegającą do południowej ściany nawy. W wyniku przeprowadzonej na początku XX w. przebudowy kościoła reprezentuje on styl neogotycki. W sąsiedztwie znajduje się dawny rynek (obecnie obsadzony drzewami) z zabudową miejską częściowo z XIX w. Południową pierzeję rynku zajmuje okazały dwukondygnacyjny gmach ratusza z secesyjną fasadą, wzniesiony w 1920 r.