Німецька назва міста Везенберг походить від старонімецької назви турів, які у середньовіччі масово мешкали в цьому регіоні. Перш ніж на природному пагорбі Валлімягі було збудовано кам’яний замок, тут існувало дерев’яно-земляне укріплення язичницьких естів під назвою Тарванпеа. Його назва в місцевій мові означала «голова тура». Після його захоплення данськими хрестоносцями в середині XIII століття було зведено перші кам’яні укріплення та парафіяльний костел. Взимку 1268 року під Раквере відбулася кривава битва між русами з Пскова та Новгорода та інфлантськими тевтонськими лицарями, яких підтримували данські війська. Після поразки хрестоносців у битві замок став притулком для тих, хто вижив. У 1302 році поселення отримало міські права, а з середини XIV століття, після розбудови, укріплення перетворилося на орденський замок, що був резиденцією старости. У наступні роки фортеця та місто були предметом суперництва між Москвою та Швецією, переходячи з рук у руки. У 1602–1605 роках, під час польсько-шведської війни, протягом трьох років у замку дислокувалися польські війська. З огляду на цей факт, фортецю Везенберг можна вважати найпівнічнішим плацдармом Речі Посполитої за всю її історію. Під час шведської контрнаступальної операції 1605 року оборонні мури замку зазнали серйозних пошкоджень. Після Інфлентських воєн зруйнована фортеця втратила військове значення, незабаром була покинута, і пізніше рішення про її відбудову прийнято не було.

Збережені залишки середньовічної фортеці свідчать про архітектурну велич споруди та є одними з наймальовничіших оборонних укріплень Північної Інфландії. Оборонний комплекс складався з: високого замку, збудованого за трапецієподібним планом, прилеглої до нього з півдня просторої прямокутної передзамку та лінії новочасних укріплень (кінця XVI ст.), що оточували по периметру весь замковий пагорб. Високий замок є зразковим прикладом монастирської споруди конвентуального типу з двоповерховою забудовою чотирьох крил навколо відкритого внутрішнього двору. Імовірно, найважливіші приміщення розташовувалися на другому поверсі, а сполучення між ними забезпечували галереї. Існуючий план приміщень першого поверху, який було підготовлено з метою музейно-виставкового використання (зокрема, каплиця, капітулярна зала тощо), слід розглядати як досить вільну інтерпретацію. До високого замку вели три брами — дві зовнішні: головна (зі сходу) та північна — і внутрішня (з півдня), що з’єднувала замок із передзамком. Оборонну систему високого замку підсилювали дві кутові вежі (відносно добре збережені) у південному крилі, а також головна вежа, що збереглася у вигляді руїн, так звана вежа «останньої оборони» (зі західного боку). У залах високого замку влаштовано історичну тематичну експозицію — зокрема, з репліками середньовічних обладунків, а в підвалах — так званий «зал тортур». Територію підзамку облаштували у вигляді історичного скансена; тут, зокрема, розташовані стрільбище, кузня та корчма. На протилежному (північному) краю замкового пагорба у 2002 році, на честь 700-річчя надання міських прав Раквере, встановлено виразну та монументальну скульптуру «Тарвас» («Тур»), створену відомим сучасним естонським скульптором, професором Тауно Кангро. На постаменті, що описує історію замку, також розміщено напис польською мовою: «У 1602–1605 роках місто належало до Речі Посполитої Обох Народів». На схід від замкового пагорба простягається колишня міська забудова. Місто ніколи не було оточене оборонними мурами і, ймовірно, не сформувало типової центральної ринкової площі, поступово розбудовуючись уздовж широкої головної вулиці. Ймовірно, цією віссю могла бути сучасна вулиця Пікк із ретельно відреставрованими фасадами будинків. Найстарішою з міських споруд є парафіяльна церква Святої Трійці (вул. Пікк, 19), історія якої сягає 1254 року. Збережена до наших днів готична споруда храму була зведена у XV столітті. Церква, яка нині функціонує як євангелічна, приховує в собі цінне оздоблення, зокрема різьблену барокову кафедру, виконану майстром Крістіаном Акерманном. Зі східного боку до прицерковної території прилягають паркові зелені насадження, відомі під назвою «Кірікупарк». За містком через ставок, у одній із паркових алей праворуч, встановлено пам’ятник професору Станіславу Гербсту (1907–1973). Майбутній видатний польський історик народився в польській дворянській родині в Раквере. Він був професором Варшавського університету та Військової політичної академії, а також головою Польського історичного товариства. Він спеціалізувався на історії Польщі XV–XVIII століть та військовій історії, а також займався історичною географією та історією мистецтва. На пам’ятному камені, відкритому у 2008 році, вмуровано дві гранітні таблички: одну із зображенням професора, а іншу — з викарбуваним написом естонською та польською мовами:

ПРОФ. СТАНІСЛАВ ГЕРБСТ, НАРОДЖЕНИЙ У РАКВЕРЕ, ВИДАТНИЙ ПОЛЬСЬКИЙ ІСТОРИК — НАУКОВЕЦЬ І ВИКЛАДАЧ, АВТОР ПОНАД 600 ПРАЦ, ГОЛОВНО З ІСТОРІЇ ВІЙСЬКОВОСТІ, ІСТОРІЇ МІСТ ТА СУЧАСНОЇ КУЛЬТУРИ, СЕРЕД ЯКИХ: «ІНФЛАЦЬКА ВІЙНА 1600–1602 РР. ПІД ЧАС ДРУГОЇ СВІТОВОЇ ВІЙНИ БРАВ УЧАСТЬ У РЯТУВАННІ КУЛЬТУРНИХ ЦІННОСТЕЙ, БУВ СОЛДАТОМ АРМІЇ КРАЮ, ЗА ВКАЗІВКОЮ ВЛАДИ ПОЛЬСЬКОЇ ПІДПІЛЬНОЇ ДЕРЖАВИ ДОКУМЕНТУВАВ НІМЕЦЬКІ ЗЛОЧИНИ ТА БРАВ УЧАСТЬ У ПРИХОВАННІ ЄВРЕЇВ.