Костел у Вилкомирі є прикладом реалізації місцевого класицизму з використанням польового каменю як будівельного матеріалу та декоративних елементів.

Він був побудований в одному з найстаріших міст Литви, яке згадується в джерелах з 1225 року. Місто Вілкоміри є надзвичайно важливим, оскільки воно було столицею Вілкомірського повіту і місцем проведення регіональних зборів. У середньовіччі тут було укріплене місто, сліди якого збереглися на одному з пагорбів, що оточують місто. У 15 столітті в іншому місці був зведений невеликий обнесений мурами замок - резиденція старости. Фортеця була зруйнована під час воєн 1655-1660 років, а на її місці пізніше були побудовані російські казарми. Про важливість центру свідчить також той факт, що протягом століть у Вількомірі існувало два костели. Старший, парафіяльний костел, і молодший, датований 1742 роком, який належав піаристам (у 1965 році перетворений на кінотеатр, а в 1994 році знову на римо-католицький костел), які утримували поруч із ним школу.

Варто також відзначити наявність двох синагог і православної церкви, збудованих до 1869 року. Цікавою і важливою спорудою є костел святих Петра і Павла, збудований у 1800-1820 роках (перебудований у 1894-1896 та 1931-1939 роках Вацлавом Міхневичем) на місці попереднього парафіяльного костелу. Це прямокутна в плані, тринавна, але без веж будівля. Стіни муровані з польового каменю, який поєднувався з тинькованими елементами. На фасаді домінує портик з двома парами колон, що несе балку і плескатий трикутний фронтон, увінчаний фігурою Христа з хрестом. По краях - пілястри. Мальовничості костелу додають декоративні вази, фігури ангелів і статуї святих Петра і Павла.

Варто зазначити, що це не єдиний костел, оздоблений каменем на території колишнього Великого князівства Литовського. Серед інших - костел у Калвері (1800-1806) та храм у Тургеляї (1836-1837) з каплицею Кобилінських (1850) на місцевому цвинтарі. У цій техніці збудовані також резиденції, наприклад, родини Тизенгаузів у Ракішках (1-ша половина 19 ст.). Характерний мотив каменю на фасадах вищезгаданих будівель, в тому числі костелу у Вилковиськах, не є випадковим, а безпосередньо відсилає до натуралістичних течій, присутніх в архітектурі кінця 18 - початку 19 століть. Крім того, і це не випадково, такий будівельний матеріал був дешевим у Литві.

Інтер'єр костелу прикрашають поліхромні розписи кінця 19 століття, які нагадують класицизм. На склепінні нефа зображено 12 апостолів у медальйонах, що пов'язано з назвою костелу і є інтерпретацією віри та уособленням Апостольського символу віри.

Скромний ліпний декор був створений у 1930-х роках. Вівтарі в костелі дерев'яні. Головний вівтар містить картину "Зустріч святих Петра і Павла", яка є копією картини в костелі святих Петра і Павла в Антоколе у Вільнюсі роботи Францішека Смуглевича. Два бічні вівтарі присвячені розп'ятому Христу і Діві Марії. У церкві також збереглися картини, які, безумовно, походять з більш раннього храму, в тому числі зображення Христа на посту 18 століття і Богородиці Милосердя (прикрашені метольською короною і місяцем). Ще раніше, однак, є невелика картина, на якій зображена Марія з немовлям Ісусом у напівпозі. Це зображення вкрите тканиною.
Поруч з костелом знаходиться двоповерхова дзвіниця з каменю з дерев'яною галереєю, вкрита шатровим дахом. Вона була побудована на початку 19 століття і прикрашена деталями в стилі класицизму.