Старец Варсонофий говорил, что тюрьма была для него духовной школой. В лагере он отказывался от любой работы в воскресные и праздничные дни. Он ни под каким предлогом не давал изменять свой облик, а его насильно остригали и сбривали ему бороду. Старец никогда не унывал, все время посвящая молитве, находя силы утешать и поддерживать других. Одухотворенный внешний вид и ласковое обращение всегда притягивали к нему многие сердца.
После многочисленных побоев к моменту выхода из лагеря он стал сгорбленным инвалидом, который мог передвигаться только при помощи костылей. Отец Павел, келейник старца Варсонофия, вспоминал: «В Саровском концлагере, когда избитого отца Варсонофия оставили в сарае в пятиградусный мороз, Господь сподобил великой милости внутреннего духовного озарения, утешая и согревая его». Позже старец Варсонофий скажет: «Господь сохранил мне жизнь, чтобы многих ныне привести ко спасению».
Как-то он сильно заболел, состояние было таким тяжелым, что его посчитали умершим и выбросили тело, а утром нашли сидящим среди трупов. Когда его выбросили, он был без сознания, а очнувшись, он почувствовал тепло. Свет озарил ночное небо, явился Сам Христос, который протянул ему руку и сказал: «Дерзай, ты Мне еще нужен на земле для проповеди Евангелия».
В период гонений на Церковь старец Варсонофий двадцать пять раз подвергался арестам. На всех допросах вел себя бесстрашно, с достоинством. Ему пришлось отбывать сроки во многих лагерях: Темниковских, Алатырских, на Колыме.
Отец Алексий рассказывал:
«С ним жила келейница Марфа, его родная сестра. Когда я к ним приезжал, она мне поведала один эпизод из лагерной жизни отца Варсонофия: