Le nom estonien actuel de la ville vient du rocher calcaire sur lequel repose toute l'Estonie du Nord. Le premier nom historique de la localité, « Weissenstein », signifiait également « pierre claire » en allemand, tout comme le nom adopté dans la nomenclature polonaise : Biały Kamień. L’histoire de la localité remonte au XIIIe siècle, lorsque, au carrefour des routes de la Livonie, fut érigée la forteresse teutonique la plus septentrionale, jouxtant les territoires alors sous domination danoise. Les premières fortifications en pierre (avec une imposante tour centrale) furent érigées en 1265 à l’initiative du maître provincial de l’Ordre des chevaliers teutoniques en Livonie, Konrad von Mandern. Au départ, le château, dans la hiérarchie de l’ordre, servait de siège à la bailliage, tandis qu’un village s’est développé autour de la forteresse, qui a obtenu le statut de ville en 1291. Le développement économique de la ville et l’importance croissante de sa position militaire ont conduit, au début du XIVe siècle, à l’élévation du château au rang de commanderie. Les sources historiques mentionnent Raimar Hahn comme premier commandeur en fonction à Weissenstein, entre 1314 et 1316. Au printemps 1343, le château fut le théâtre d’événements majeurs lors de la révolte estonienne de la nuit de la Saint-Georges. C’est là qu’eurent lieu les négociations entre les quatre chefs de l’insurrection délégués par les anciens (désignés par la suite comme les « rois estoniens »), que les chevaliers teutoniques emprisonnèrent secrètement puis assassinèrent. Biały Kamień est entré deux fois dans l’histoire de la Pologne au début du XVIIe siècle comme lieu de gloire des armes polonaises. Cela s’est produit pendant la deuxième guerre polono-suédoise. La forteresse fut prise pour la première fois par les armées polonaises à la fin du mois de septembre 1602. Le siège dura quatre mois et ce fut la dernière campagne commandée par le grand hetman de la Couronne, Jan Zamoyski. Une nouvelle victoire fut remportée près de Biały Kamień le 25 septembre 1604. À cette occasion, les troupes polonaises, au nombre de deux mille, sous le commandement du gouverneur royal et hétman de campagne Jan Karol Chodkiewicz, affrontèrent une armée suédoise de sept mille hommes dirigée par Arvid Stälarm et le mercenaire espagnol Alonzo Cacho de Canuta. La charge de la husserie polonaise, qui a anéanti les forces principales de l’adversaire, a été déterminante pour l’issue de la bataille. Les Polonais perdirent un peu moins de 100 soldats au cours de la bataille, contre environ 3 000 Suédois tués. La domination polonaise ne dura toutefois pas longtemps et, à peine quatre ans plus tard, le château revint aux mains de la Suède. La forteresse, partiellement détruite, perdit rapidement son importance militaire et tomba progressivement en ruine. La ville perdit également de son importance : elle fut dépouillée de ses droits municipaux en 1636, qu’elle ne retrouva qu’au cours de la seconde moitié du XVIIIe siècle.

Aujourd’hui, Paide est une ville de province comptant un peu moins de huit mille habitants, parfois qualifiée de « cœur de l’Estonie » en raison de sa situation centrale. Elle se trouve à une distance comparable des principales agglomérations estoniennes : Tallinn (90 km), Tartu (100 km) et Pärnu (105 km). C’est pour cette raison que, pendant un certain temps au XXe siècle, le symbole du cœur figurait sur les armoiries de la ville. Aujourd’hui, on est revenu aux armoiries historiques de la ville, avec la tour blanche du château, qui reste l’élément le plus caractéristique de l’architecture urbaine. Visible de loin, cet édifice octogonal élancé de 30 m de hauteur est le vestige le plus imposant de la forteresse médiévale de l’Ordre des Chevaliers-Commandeurs. Il s’agit toutefois d’une reconstruction fidèle réalisée dans la première moitié des années 90 du XXe siècle. L’édifice d’origine a survécu près de sept siècles, mais il a été détruit par une explosion en 1941 par les troupes soviétiques en retraite. Aujourd’hui, l’intérieur du bâtiment abrite, sur cinq niveaux, une exposition muséale consacrée à l’histoire du château et de la ville (le niveau le plus élevé fait office de terrasse panoramique). Le site de l’ancien château a été aménagé en parc de promenade doté d’un amphithéâtre. Outre la tour principale (communément appelée « Long Herman »), on peut encore distinguer un agencement défensif clair comprenant quatre bastions ainsi que des vestiges en pierre des fortifications : la tour à poudre et la porte d’eau (angle nord-est), la porte ouest (adjacente à la tour principale), la courtine des remparts (côté nord-ouest) ainsi que les fondations mises à nu d’anciens bâtiments (probablement : une chapelle, une salle capitulaire et un réfectoire). L’église paroissiale de la Sainte-Croix jouxte la colline du château par le côté sud. L’édifice a pris sa forme actuelle en pierre au XVIIIe siècle, mais il a été reconstruit après l’incendie de 1845. Dans sa structure conservée, il s’agit d’un édifice à une seule nef, construit sur un plan rectangulaire, avec une tour massive (surmontée d’une coupole élancée à flèche) adossée au mur sud de la nef. À la suite de la reconstruction de l’église réalisée au début du XXe siècle, celle-ci présente désormais un style néogothique. À proximité se trouve l’ancienne place du marché (aujourd’hui arborée) avec des bâtiments urbains datant en partie du XIXe siècle. La façade sud de la place du marché est occupée par l’imposant bâtiment de deux étages de la mairie, doté d’une façade Art nouveau, construit en 1920.