Le nom allemand de la ville, Wesenberg, tire son origine du nom en ancien allemand des taureaux qui vivaient en grand nombre dans cette région au Moyen Âge. Avant qu’un château en pierre ne soit construit sur la colline naturelle de Vallimägi, il existait déjà à cet endroit un fort en bois et en terre appartenant aux Estoniens païens, appelé Tarvanpea. Son nom signifiait « tête d'aure » dans la langue locale. Après sa prise par les croisés danois au milieu du XIIIe siècle, les premières fortifications en pierre ainsi qu'une église paroissiale y furent érigées. Au cours de l’hiver 1268, une bataille sanglante opposa, près de Rakvere, les Rus de Pskov et de Novgorod aux chevaliers teutoniques d’Livonie, soutenus par les armées danoises. Après la défaite des croisés, le château devint un refuge pour les survivants. En 1302, la colonie obtint le statut de ville, et à partir du milieu du XIVe siècle, après avoir été agrandie, la fortification devint un château de l’ordre, siège du bailli. Au cours des années suivantes, la forteresse et la ville furent l’objet d’une rivalité entre Moscou et la Suède, passant de mains en mains. Entre 1602 et 1605, pendant la guerre polono-suédoise, les troupes polonaises y furent stationnées pendant trois ans. Compte tenu de ce fait, la forteresse de Wesenberg peut être considérée comme le point d’appui le plus septentrional de la République de Pologne de toute son histoire. Lors de la contre-offensive suédoise de 1605, les remparts du château furent gravement endommagés. Après les guerres d’Livonie, la forteresse en ruines perdit son importance militaire ; elle fut rapidement abandonnée et il ne fut pas décidé par la suite de la reconstruire.

Les vestiges conservés de cette forteresse médiévale témoignent de la grandeur architecturale de l’édifice et constituent l’une des fortifications les plus pittoresques des Livonies du Nord. L’ensemble défensif se composait : d’un château fort de type « haut château » à plan trapézoïdal, d’une vaste avant-cour rectangulaire adjacente au sud, ainsi que d’une ligne de fortifications modernes (datant de la fin du XVIe siècle) encerclant toute la colline du château. Le château fort incarne l'aspect typique d'un édifice conventuel, avec quatre ailes à deux étages s'articulant autour d'une cour intérieure. On suppose que les pièces les plus importantes se trouvaient au premier étage et que la circulation entre elles était assurée par des cloîtres. La disposition actuelle des pièces du premier étage, qui a été aménagée à des fins muséales et d’exposition (notamment la chapelle, la salle capitulaire, etc.), doit être considérée comme une interprétation assez libre. Trois portes donnaient accès au château fort : deux portes extérieures – la porte principale (à l’est) et la porte nord – ainsi qu’une porte intérieure (au sud), qui assurait la liaison avec l’avant-château. Le système défensif du château fort était renforcé par deux tours d’angle (relativement bien conservées) dans l’aile sud, ainsi que par la tour principale, dite de « défense ultime » (côté ouest), dont il ne reste qu’une vestige. Les salles du château haut abritent une exposition thématique historique, comprenant notamment des répliques d’armures médiévales, tandis que les caves abritent la « salle de torture ». Les terrains situés au pied du château ont été aménagés en village historique à ciel ouvert ; on y trouve notamment un stand de tir, une forge et une auberge. Sur le versant opposé (nord) de la colline du château, une sculpture expressive et monumentale intitulée « Tarvas » (« Tur ») réalisée par le célèbre sculpteur estonien contemporain, le professeur Tauno Kangro. Sur le socle retraçant l’histoire du château figure également une inscription en polonais : « De 1602 à 1605, la ville appartenait à la République des Deux Nations ». À l’est de la colline du château s’étend l’ancien tissu urbain. La ville n’a jamais été entourée de remparts et n’a probablement pas développé de place du marché centrale typique, s’étendant progressivement le long d’une large rue principale. On peut supposer que cette artère correspondait à l’actuelle rue Pikk, avec ses façades soigneusement restaurées. Le plus ancien des édifices de la ville est l’église paroissiale de la Sainte-Trinité (19, rue Pikk), dont l’origine remonte à 1254. Le corps de l’édifice gothique qui subsiste aujourd’hui a été construit au XVe siècle. L'église, qui sert aujourd'hui de lieu de culte évangélique, abrite un décor précieux, notamment une chaire baroque sculptée par le maître Christian Ackermann. Côté est, les espaces verts du parc, appelés Kirikupark, jouxtent le terrain de l'église. Derrière le petit pont qui enjambe l'étang, dans l'une des allées du parc sur la droite, se trouve un hommage au professeur Stanisław Herbst (1907-1973). Ce futur éminent historien polonais est né à Rakvere au sein d’une famille de propriétaires terriens polonais. Il fut professeur à l’Université de Varsovie et à l’Académie militaire politique, ainsi que président de la Société historique polonaise. Spécialisé dans l’histoire de la Pologne du XVe au XVIIIe siècle et dans l’histoire militaire, il s’intéressait également à la géographie historique et à l’histoire de l’art. Sur la pierre commémorative dévoilée en 2008, deux plaques de granit ont été scellées : l’une représentant le portrait du professeur et l’autre portant une inscription gravée en estonien et en polonais :

PROF. STANISŁAW HERBST, NÉ À RAKVERE, ÉMINENT HISTORIEN POLONAIS – CHERCHEUR ET ENSEIGNANT, AUTEUR DE PLUS DE 600 OUVRAGES, PRINCIPALEMENT SUR L’HISTOIRE MILITAIRE, L’HISTOIRE DES VILLES ET LA CULTURE MODERNE, NOTAMMENT : « LA GUERRE D’INFLANDE 1600-1602 ». PENDANT LA SECONDE GUERRE MONDIALE, IL A PARTICIPÉ À LA SAUVEGARDE DU PATRIMOINE CULTUREL, EN TANT QUE SOLDAT DE L’ARMÉE NATIONALE, SUR ORDRE DES AUTORITÉS DE L’ÉTAT SOUTERRAIN POLONAIS, IL A DOCUMENTÉ LES CRIMES ALLEMANDS ET A PARTICIPÉ À LA CACHE DES JUIFS.