Всего пять лет продлилось служение о. Иоанна в храме Рождества Христова в Измайлове – в апреле 1950 года он был арестован. А 8 октября 1950 года он был осужден на семь лет лагерей. Отбывать заключение о. Иоанну пришлось в Каргопольлаге. Впоследствии, вспоминая о годах заключения, о. Иоанн говорил: «В заключении у меня была истинная молитва, и это потому, что каждый день был на краю гибели. Молитва была той непреодолимой преградой, за которую не проникали мерзости внешней жизни. Повторить теперь, во дни благоденствия, такую молитву невозможно. Хотя опыт молитвы и живой веры, приобретенный там, сохраняется на всю жизнь» [3, c. 15–16].
15 февраля 1955 года о. Иоанн был освобожден досрочно. После освобождения власти не разрешили ему жить в столице. Он попытался было устроиться в Псковской епархии, но на него было заведено новое дело, так что ему пришлось покинуть Псков и перебраться в Рязанские пределы.
Около десяти лет прослужил о. Иоанн на различных сельских приходах Рязанской епархии. Храмы, в которых приходилось служить о. Иоанну, находились в плачевном состоянии; они требовали срочной реставрации. При помощи духовных чад о. Иоанн находил средства и возможности для ремонта храмов.
В 1966 году, находясь в гостях у своего духовника о. Серафима (Романцова), о. Иоанн был пострижен в монашество. В постриге о. Иоанн сохранил прежнее имя, сменив святого покровителя – он был наречен в монашестве в честь апостола и евангелиста Иоанна Богослова. Вскоре, по благословению о. Серафима, он обратился к Патриарху Алексию I с просьбой направить его в монастырь. Патриарх благословил о. Иоанна на служение в Псково-Печерском монастыре.
Всю оставшуюся жизнь, почти сорок лет, о. Иоанн провел в Свято-Успенском Псково-Печерском монастыре. Здесь в полной мере раскрылись его духовные дарования. В обители о. Иоанн прошел ряд монастырских послушаний: череды седмичного священника, в которые входили и поездки по местным сельским приходам; духовника, сначала паломнического, а затем и братского. Кроме того, о. Иоанн стал сначала для прихожан и паломников, а затем и для монашеской братии – духовным наставником – старцем, хотя он сам и избегал такого наименования. Все, кто имел счастье лично или письменно пообщаться с о. Иоанном, вспоминают его необыкновенную любовь – отражение любви Божией, и одновременно неколебимую твердость в христианских заповедях, следование которым о. Иоанн неустанно проповедовал. Большую часть своего времени о. Иоанн отдавал приему посетителей.