Kościół w Wiłkomierzu to przykład lokalnej realizacji klasycystycznej, w której jako budulca i elementu dekoracyjnego użyto kamienia polnego. Wzniesiono go w jednym z najstarszych miast Litwy, które jest wzmiankowane w źródłach od 1225 r.

Wiłkomierz to miasto niezwykle ważne, bowiem było stolicą powiatu wiłkomierskiego i odbywały się w nim sejmiki ziemskie. W okresie średniowiecza znajdowało się w nim ufortyfikowane grodzisko, po którym pozostały ślady na jednym ze wzgórz otaczających miasto. W XV w. w innym miejscu wzniesiono niewielki murowany zamek - siedzibę starosty. Twierdza została zniszczona podczas wojen 1655-1660, a później na jej miejscu powstały rosyjskie koszary. O wadze ośrodka świadczy także fakt, że w Wiłkomierzu na przestrzeni wieków istniały dwie świątynie. Starsza - parafialna i młodsza z 1742 r. należąca do pijarów (w 1965 r. przebudowana na kino-teatr, od 1994 r. ponownie kościół rzymskokatolicki), którzy prowadzili przy niej szkołę. Warto także odnotować istnienie dwóch synagog i cerkwi prawosławnej, wystawionej przed 1869 r.

Ciekawym i ważnym budynkiem jest kościół pw. śś. Piotra i Pawła, który został wzniesiony w latach 1800-1820 (przebudowany w latach 1894-1896 i 1931-1939 przez Wacława Michniewicza), na miejscu wcześniejszej świątyni parafialnej. Jest to budowla na planie prostokąta, trójnawowa, ale bezwieżowa. Jej ściany zostały wzniesione z kamienia polnego, który został zestawiony z elementami otynkowanymi. W fasadzie dominuje portyk o dwu parach kolumn, dźwigających belkowanie i spłaszczony trójkątny fronton zwieńczony figurą Chrystusa z krzyżem. Na skrajach znajdują się pilastry. Malowniczości świątyni nadają ozdobne wazy, figury aniołów i posągi śś. Piotra i Pawła.

Warto podkreślić, że na terenie dawnego Wielkiego Księstwa Litewskiego nie jest to jedyna świątynia ozdobiona kamieniem. Inne to kościół w Kalwiach (1800-1806), czy też świątynia w Turgielach (1836-1837) z kaplicą Kobylińskich (1850) na tamtejszym cmentarzu. W technice takiej stawiano także rezydencje, choćby Tyzenhauzów w Rakiszkach (1 poł. XIX w.). Charakterystyczny motyw kamienia w elewacjach wspomnianych budynków, także kościoła w Wiłkowyszkach, nie jest przypadkowy, ale odnosi się wprost do prądów naturalistycznych, obecnych w architekturze przełomu XVIII i XIX w. Miały one związek z poczuciem swojszczyzny kreowanego w duchu romantycznego historyzmu. Ponadto, co też nieprzypadkowe, na terenie Litwy taki budulec był tani.

Wnętrze kościoła ozdabia polichromia z końca XIX w., która nawiązuje do klasycyzmu. Malowidła sklepienia nawy głównej ukazują w medalionach 12 Apostołów co wiąże się z wezwaniem kościoła i stanowi wykładnię wiary i personifikację Składu Apostolskiego. Skromna dekoracja stiukowa powstała w latach 30. XX w.

Ołtarze w świątyni są drewniane. W głównym znajduje się obraz „Spotkanie św. Piotra i św. Pawła”, który stanowi kopię wizerunku znajdującego się w kościele pw. śś. Piotra i Pawła na Antokolu w Wilnie autorstwa Franciszka Smuglewicza. Dwa boczne ołtarze dedykowano Chrystusowi Ukrzyżowanemu oraz Matce Boskiej. W kościele zachowały się także obrazy, które z pewnością pochodzą z wcześniejszego kościoła, w tym osiemnastowieczne wizerunki Chrystusa u słupa i Matki Boskiej Łaskawej (zdobiony metolową koroną i księżycem). Wcześniejszy jest natomiast niewielki obraz ukazujący w półpostaci Maryję z Dzieciątkiem Jezus. Obraz ten zakrywa sukienka.
Obok kościoła znajduje się dwukondygnacyjna dzwonnica wzniesiona z kamienia z drewnianą galerią, nakryta czterospadowym dachem. Wzniesiono ją na początku XIX w. i ozdobiono klasycystycznym detalem.