Ефрем был верен наставлению явившегося. Еще в темнице дав обет посвятить всю свою жизнь покаянию, он вскоре оставил мир и удалился в окрестные горы к отшельникам. Между тем и в поздние годы не переставал каяться в грехе юности и просить у других молитв пред Господом о прощении.
Жизнь отшельническая рано стала известна между христианами низибийскими. В окрестных горах пещеры служили жилищем подвижникам; растения и плоды, свободно произращаемые землею, доставляли им пищу; молитва и богомыслие, не прерываемые шумом и суетою мирскою, составляли им постоянное упражнение. Ученик преподобного Антония Аон, или Евгений, принес первый пример жизни отшельнической из пустынь египетских на крайние пределы империи Римской на востоке и вскоре нашел здесь многих себе подражателей. К числу их принадлежал и святитель Иаков, епископ Низибийский, столько же известный своими подвигами отшельническими и чудесами, сколько и ревностию в распространении и защищении правой веры христианской. Для утверждения христианства в Персии он отправлялся в сию смежную с Низибиею страну, а для ограждения православных от нечестивого учения ариан писал на него опровержения, на которые ссылался святитель Афанасий Александрийский. Преподобный Ефрем вскоре стал учеником святителя Иакова и строгим исполнителем правил жизни пустыннической, с которыми святитель не разлучался и среди многолюдного города.
Несчастный случай заключения в темницу произвел большую перемену в Ефреме. Вместо пламенного, но гневливого, любознательного, но колеблемого сомнениями юноши Ефрем является смиренным и сокрушенным пустынником, день и ночь оплакивающим свои грехи и с благоговением поучающимся в законе Господнем. Пример святителя Иакова довершил духовное образование достойного ученика его. И уже в это время мы видим в Ефреме совершенную покорность путям Промысла и истинно подвижническую твердость в перенесении искушений.