Już w dzieciństwie Kasper zyskał przydomek „małego apostoła Rzymu” – zawsze chciał być misjonarzem. W wieku 19 lat często przemawiał w kościołach i na placach Rzymu, mówił jasnym i prostym językiem. Został również przełożonym nowej szkoły katechetycznej przy Santa Maria del Pianto. Ze swoją misją szedł do biednych i chorych w hospicjach i szpitalach.

31 lipca 1808 r. otrzymał święcenia kapłańskie w kościele Misjonarzy św. Wincentego a Paulo w Montecitorio i został mianowany kanonikiem przy bazylice San Marco.