A Kálvária-domb tetején a középkorban a bencés apátság falujának, Szentivánnak temploma állt.  A román stílusú romos templomot 1754-ben lebontották. A híres építész Fellner Jakab a szentély csonka falait kiegészítette, sátortetővel átfedte, és délnyugat felé homlokzattal látta el. Tetejére kecses huszártornyot helyezett. 1755-ben kifestették, 1908-1911 között restaurálták.

A második világháború okozta sérüléseket az 1962-1963. évi helyrehozatalkor végleg eltüntették. 1980-ban egy időre Fellner Jakab emlékére kiállítást rendeztek a kápolnában. A régi templom falainak feltárásával és állagvédő csekély felfalazásával az egykori templom alapterülete érzékelhető.