Німецька назва міста Везенберг походить від давньоверхньонімецької назви горлиць, які мешкали в цій місцевості в середньовіччі. До того, як на природному пагорбі Валлімягі було збудовано кам'яний замок, тут раніше стояв дерев'яно-земляний замок язичників-естів під назвою Тарванпеа. Його назва місцевою мовою означала голову тура. Після того, як його завоювали данські хрестоносці в середині 13 століття, тут були зведені перші кам'яні укріплення і парафіяльна церква. Взимку 1268 року під Раквере відбулася кровопролитна битва між Руссю Пскова і Новгорода та лівонськими хрестоносцями, яких підтримували данські війська. Після поразки хрестоносців замок став притулком для тих, хто вижив. У 1302 році поселення отримало міські права, а з середини 14 століття, після розширення, укріплення стало монастирським замком, в якому знаходилася резиденція старости. У наступні роки фортеця і місто були об'єктом суперництва між Москвою і Швецією, переходили з рук в руки. У 1602-1605 роках, під час польсько-шведської війни, у замку протягом трьох років перебували польські війська. Враховуючи цей факт, фортецю Везенберг можна вважати найпівнічнішим форпостом Речі Посполитої за всю історію. Під час шведського контрнаступу 1605 року стіни замку були сильно пошкоджені. Після Лівонських воєн зруйнована фортеця втратила своє військове значення, незабаром була покинута, і рішення про її відбудову пізніше не приймалося.

Збережені залишки середньовічної фортеці свідчать про архітектурну велич споруди і є одним з наймальовничіших оборонних укріплень Північних Інфлянтів. Укріплення складалося з трапецієподібного високого замку, великого прямокутного передзамку, що прилягав з півдня, і лінії сучасних укріплень (з кінця 16 століття), що оточували весь замковий пагорб. Високий замок являє собою взірець традиційної монастирської споруди з двоповерховою будівлею з чотирма крилами навколо відкритого внутрішнього двору. Імовірно, найважливіші приміщення розташовувалися на першому поверсі, а зв'язок між ними забезпечували монастирські ходи. Існуюче планування приміщень першого поверху, яке було підготовлене для музейних та виставкових цілей (включаючи каплицю, будинок капітули тощо), слід розглядати як досить вільну інтерпретацію. До високого замку вели три брами - дві зовнішні, головна (зі сходу) і північна, та внутрішня (з півдня), яка з'єднувала його з дитинцем. Оборонна система високого замку була посилена двома кутовими вежами (відносно добре збереглися) в південному крилі і головною вежею, так званим кінцевим захистом (із заходу), яка залишилася як реліквія. У високих палатах замку влаштована історична тематична виставка - в тому числі репліки середньовічних обладунків, а в підвалах знаходиться так звана "камера тортур". На території замку облаштовано музей під відкритим небом, включаючи тир, кузню і таверну. На протилежному (північному) боці замкового пагорба у 2002 році на честь 700-річчя міської хартії Раквере було встановлено виразну монументальну скульптуру "Тарвас" ("Тур") відомого сучасного естонського скульптора професора Тауно Кангро. На постаменті, що описує історію замку, також є напис польською мовою: "У 1602-1605 роках Груд належав до Речі Посполитої". На схід від замкового пагорба простягається колишня міська забудова. Місто ніколи не було оточене оборонними мурами і, ймовірно, не мало типової центральної ринкової площі, поступово розширюючись вздовж широкої головної вулиці. Імовірно, цією віссю могла бути сучасна вулиця Пікк з її ретельно відреставрованими фасадами будинків. Найстарішою будівлею міста є парафіяльний костел Святої Трійці (вул. Пікк, 19), датований 1254 роком. Збережена готична будівля була побудована в 15 столітті. Церква, яка зараз використовується як євангельська церква, містить цінне внутрішнє оздоблення, в тому числі різьблену барокову кафедру роботи майстра Крістіана Аккермана. Зі східного боку до території церкви прилягає Кірікупарк. За мостом через ставок, на одній з паркових алей праворуч, вшановано пам'ять професора Станіслава Гербста (1907 - 1973). Майбутній видатний польський історик народився в польській землевласницькій родині в Раквере. Був професором Варшавського університету та Військової академії, президентом Польського історичного товариства. Спеціалізувався на історії Польщі з 15 по 18 століття та військовій історії, а також займався історичною географією та мистецтвознавством. На пам'ятному камені, відкритому у 2008 році, встановлено дві гранітні дошки: одна із зображенням професора, а інша - з викарбуваним написом естонською та польською мовами): "PROF. СТАНІСЛАВ ГЕРБСТ НАРОДИВСЯ В РАКВЕРЕ ВИДАТНИЙ ПОЛЬСЬКИЙ ІСТОРИК - НАУКОВЕЦЬ І ВИКЛАДАЧ, АВТОР ПОНАД 600 ПРАЦЬ, ПЕРЕВАЖНО З ВІЙСЬКОВОЇ ІСТОРІЇ, ІСТОРІЇ МІСТ ТА СУЧАСНОЇ КУЛЬТУРИ, НАПРИКЛАД: "НАВАЛА 1600 - 1602 РОКІВ. ПІД ЧАС ДРУГОЇ СВІТОВОЇ ВІЙНИ БРАВ УЧАСТЬ У ПОРЯТУНКУ КУЛЬТУРНИХ ЦІННОСТЕЙ, СОЛДАТ НАЦІОНАЛЬНОЇ АРМІЇ, ЗА ЗАВДАННЯМ ВЛАДИ ПОЛЬСЬКОЇ ПІДПІЛЬНОЇ ДЕРЖАВИ ДОКУМЕНТУВАВ НІМЕЦЬКІ ЗЛОЧИНИ ТА БРАВ УЧАСТЬ У ПЕРЕХОВУВАННІ ЄВРЕЇВ".