Иосиф и князь послали к епископу, прося благословения строить церковь. Когда святитель прислал благословение свое и антиминс, преподобный Иосиф заложил церковь во имя Успения Пресвятой Богородицы на память преподобного Илариона Далматского и Виссариона. Узнав о сем, приехал к месту закладки храма князь Борис Васильевич со всеми боярами и многими знатными юношами. Прежде всех он и преподобный взяли на свои плечи бревна и положили в основание храма. Видя, как князь трудится для Бога, присутствовавшие там возрадовались, и все от мала до велика, как простые работники, стали трудиться во славу Божию и сносили бревна. Спустя немного времени церковь была совершенно построена и освящена в том же году, августа 15-го дня, на праздник честного Успения Пречистой Богородицы. Затем начали строить келлии и стали собираться братия. Приходили к преподобному Иосифу князья и бояре на покаяние, и многие из них постригались, не достигшие же зрелого возраста отдавали себя без рассуждения на послушание и повиновение, на труды и воздержание.
Преподобный Иосиф днем трудился с братией, ставя келлии, ночью же пребывал в молитве, не давая себе покоя. Слыша о сих великих трудах преподобного и братии, князь Борис Васильевич стал часто ездить в обитель Пречистой Богородицы, привозя с собою брашна и питие, ибо в обители еще во всем был недостаток, даже хлеба было мало. И здесь обнаружилась любовь иноков к Богу – они отказывались от яств, изнеживающих тело, и питались одним хлебом и простым зелием. Видя сие о Христе собравшееся стадо в таковом воздержании и трудах, Иосиф радовался духом и славил Пречистую Богоматерь, ибо он еще не налагал на братию полного соблюдения закона, а они сами добровольно жили согласно обещанию преподобного пред Богом. Обещание же было таково: все должно быть общим, никому своего не иметь, яства и питие всем поровну, также и одежда и обувь, в келлиях же не пить и не есть, разве лишь по болезни или старости.