Niemiecka nazwa miasta Wesenberg wywodzi się od staroniemieckiej nazwy turów, które żyły w tym rejonie gromadnie w średniowieczu. Zanim na naturalnym wzniesieniu Vallimägi został zbudowany kamienny zamek, wcześniej istniał tu drewniano-ziemny gród pogańskich Estów zwany Tarvanpea. Jego nazwa oznaczała w lokalnym języku głowę tura. Po jego zdobyciu przez duńskich krzyżowców w połowie XIII wieku wzniesiono pierwsze kamienne fortyfikacje oraz kościół parafialny. Zimą 1268 roku pod Rakvere doszło do krwawej bitwy między Rusami z Pskowa i Nowogrodu, a Krzyżakami inflanckimi wspieranymi przez wojska duńskie. Po przegranej przez krzyżowców bitwie zamek stał się schronieniem dla tych, którzy ocaleli. W 1302 roku osada otrzymała prawa miejskie, zaś od połowy XIV wieku, po rozbudowie, fortyfikacja stała się zamkiem zakonnym będącym siedzibą wójta. W kolejnych latach warownia i miasto były przedmiotem rywalizacji między Moskwą a Szwecją, przechodząc z rąk do rąk. W latach 1602 - 1605, podczas wojny polsko-szwedzkiej, przez trzy lata na zamku stacjonowały polskie wojska. Uwzględniając ten fakt, warownię Wesenberg można uznać za najbardziej na północ wysunięty przyczółek Rzeczpospolitej w całej historii. W czasie szwedzkiej kontrofensywy w 1605 roku mury obronne zamku zostały poważnie uszkodzone. Po wojnach inflanckich zrujnowana twierdza utraciła znaczenie militarne, wkrótce została opuszczona i później nie zdecydowano się na jej odbudowę.

Zachowane pozostałości średniowiecznej warowni świadczą o architektonicznym rozmachu budowli i stanowią jedną z najbardziej malowniczych fortyfikacji obronnych Inflant północnych. Założenie obronne składało się z: zamku wysokiego osadzonego na planie trapezu, przylegającego do niego od południa obszernego prostokątnego przedzamcza oraz linii nowożytnych umocnień (z końca XVI wieku) okalających obwodowo całe wzgórze zamkowe. Zamek wysoki reprezentuje modelowy wygląd zakonnej budowli konwentualnej z dwukondygnacyjną zabudową czterech skrzydeł wokół odkrytego dziedzińca. Przypuszczalnie najważniejsze pomieszczenia znajdowały się na pierwszym piętrze, a komunikację między nimi zapewniały krużganki. Istniejący rozkład pomieszczeń pierwszego piętra, który został przygotowany z przeznaczeniem muzealno-wystawienniczym (m.in. kaplica, kapitularz, itd.) należy traktować jako dość swobodną interpretację. Na wysoki zamek wiodły trzy bramy - dwie zewnętrzne: główna (od wschodu) i północna - oraz wewnętrzna (od południa), stanowiąca połączenie z przedzamczem. System obronny zamku wysokiego wzmacniały dwie wieże narożne (stosunkowo dobrze zachowane) w skrzydle południowym oraz pozostała w formie reliktu wieża główna, tzw. ostatecznej obrony (od strony zachodniej). W izbach wysokiego zamku została urządzona historyczna ekspozycja tematyczna - m.in. z replikami średniowiecznych zbroi, zaś w piwnicach tzw. „sala tortur”. Teren podzamcza zaaranżowano na formułę skansenu historycznego, są tu m.in. strzelnica, kuźnia i karczma. Na przeciwległym (północnym) skraju wzgórza zamkowego w 2002 roku, dla upamiętnienia 700-lecia nadania praw miejskich Rakvere, ustawiono ekspresyjną i monumentalną rzeźbę „Tarvas” („Tur”) dłuta znanego współczesnego rzeźbiarza estońskiego prof. Tauno Kangro. Na postumencie opisującym dzieje zamku widnieje również napis w języku polskim: „W latach 1602-1605 Gród należał do Rzeczypospolitej Obojga Narodów.” Na wschód od wzgórza zamkowego rozciąga się dawna zabudowa miejska. Miasto nigdy nie było otoczone murami obronnymi i prawdopodobnie nie wykształciło typowego centralnego rynku, sukcesywnie rozbudowując się wzdłuż szerokiej ulicy głównej. Przypuszczalnie tą osią mogła być współczesna ul. Pikk ze starannie odrestaurowanymi fasadami domów. Najstarszą z budowali miejskich jest kościół parafialny Świętej Trójcy (ul. Pikk 19) sięgający swym rodowodem 1254 roku. Zachowana współcześnie gotycka bryła świątyni powstała w XV wieku. Kościół funkcjonujący obecnie jako świątynia ewangelicka kryje wewnątrz cenny wystrój, m.in. rzeźbioną barokową ambonę wykonaną przez mistrza Christiana Ackermanna. Od strony wschodniej do terenu przykościelnego przylegają parkowe tereny zielone określane nazwą Kirikupark. Za mostkiem na stawie, w jednej z parkowych alejek po prawej stronie, została upamiętniona osoba prof. Stanisława Herbsta (1907 - 1973). Przyszły wybitny polski historyk urodził się w polskiej rodzinie ziemiańskiej w Rakvere. Był profesorem Uniwersytetu Warszawskiego i Wojskowej Akademii Politycznej oraz prezesem Polskiego Towarzystwa Historycznego. Specjalizował się w historii Polski XV - XVIII wieku i historii wojskowości, zajmował się także geografią historyczną i historią sztuki. Na odsłoniętym w 2008 roku pamiątkowym kamieniu wmurowano dwie granitowe tablice: jedną z wizerunkiem profesora i drugą z wykutym napisem w języku estońskim i polskim): „PROF. STANISŁAW HERBST URODZONY W RAKVERE WYBITNY POLSKI HISTORYK - NAUKOWIEC I WYKŁADOWCA AUTOR PONAD 600 PRAC, GŁÓWNIE Z HISTORII WOJSKOWOŚCI, DZIEJÓW MIAST I KULTURY NOWOŻYTNEJ, M.IN.: „WOJNY INFLACKIEJ 1600 - 1602. W OKRESIE II WOJNY ŚWIATOWEJ BRAŁ UDZIAŁ W RATOWANIU DÓBR KULTURY, ŻOŁNIERZ ARMI KRAJOWEJ, Z POLECENIA WŁADZ POLSKIEGO PAŃSTWA PODZIEMNEGO DOKUMENTOWAŁ ZBRODNIE NIEMIECKIE I BRAŁ UDZIAŁ W UKRYWANIU ŻYDÓW.”