Покинув дом, Иоанн странствовал по монастырям и скитам.
Начал свое подвижничество в Киеве в начале 1840-х годов, вырыв в усадьбе некое­го благочестивого мещанина, прихожанина Десятинной церкви, жителя Верхнего Города пещеру.

Подвижник был прихожанином  Десятинной церкви, где часто был на богослужениях, носил вериги и круглый год ходил босиком в одном нанковом халате.
Затем переселился к  капитану Протасову, который отвел ему весь нижний довольно обширный этаж своего дома для благочестивых подвигов. В новом помещении Иван Босой принимал и покоил странников и бедных.

Впоследствии юродивый нанял оба этажа прежде жилых комнат под Андреевской церковью, которые служат основанием этого храма.
Тут подвижник принимал, кормил и покоил странников, калек и бедных.
Странноприимница вскоре превратилась  в место паломничества киевлян и иногородних богомольцев.
Иоанном Босым был создан фонд для оказания помощи странникам и нуждающимся на средства, поступающие от пожертвований богатых горожан, в чем ему содейство­вали киевский губернатор И. Фундуклей и ректор духовной академии Димитрий Муретов.

«Собирая милостыню, — писала газета «Киевлянин» в 1873 году, — он сберегал ее только до ближайшей субботы, чтобы можно было устроить обед для странников и нищих, а не то и прямо раздавал ее.
Подвижник больше молчал, чем говорил, но если кто обращался к нему за наставлением, он наставлял обращавшегося на покаяние и жизнь благочестивую».

Известны многие свидетельства современников подвижника о его прозорливости.
Молва о благотворительности Иоанна Босого разнеслась по России, и он стал отовсюду получать приношения, дававшее ему полную возможность поддерживать богоугодное заведение. Подвижник принимал и кормил до 200 человек в день.
Нуждающимся странникам выдавал со своего склада одежду и обувь, снабжал их деньгами на обратный путь, для больных содержал больницу и лекаря.

Иван Босой управлял данным богоугодным заведением  с конца 1848 года и до последнего дня своей жизни (16 декабря 1849 г.), после чего заботы о странниках взял на себя Дамиан Федорович Виноградский, ученик Иоанна Босого в христианских добродетелях, славный подвижник и впоследствии строитель скита  Феофании преподобный игумен Вонифатий.

По свидетельству духовника подвижника прот. Петра Гороновского Иван Босой умер смертью праведника.
Отпевали его в Десятинной церкви ректор Семинарии со многими священниками, за гробом на Щекавицкое кладбище шли тысячи киевлян.
На могиле поставили крест с неугасимой лампадой, в возглавие был положен двухпудовый камень,  лежавший в переднем углу кельи  юродивого, о который подвижник во время ночных молитв клал земные поклоны, от чего на лбу его сделался нарост величиною с куриное яйцо.

 Он был не то что юродивый, а был подвижником Христовым в собственном смысле этого слова: возлюбив Бога паче всего, а ближних как сам себя».
Сохранились множество свидетельств благодатной помощи праведника по его кончине всем, притекающим к нему.
Земля с могилы Иоанна Босого исцеляла тысячи страждущих людей от лихорадки и других болезней.

Память о великом подвижнике жила в Киеве на протяжении всего ХIХ века до начала гонений на веру безбожной власти.