Pocházel z bulharské vesnice Skrim, která leží v blízkosti Sofie. Po smrti svých rodičů rozdal celý svůj majetek chudým. Pak se nechal postřihnout na mnišství a odešel ze své rodné vesnice. Usadil se na jedné vysoké hoře a zde vedl asketický život. Po nějaké době jej přepadli loupežníci, zbili ho a vyhnali ho odtud. Tehdy Jan odešel do rylské pouště, kde žil v dutině velkého stromu. Zde pokračoval v asketickém životě. Žil tu v samotě více než padesát let.
Jednou jej nalezli pastýři. Ti pak o něm začali všem vyprávět, a tak k Janovi přicházelo mnoho lidí. Přinášeli i nemocné, které svatý uzdravoval. Starcova sláva se začala šířit po celé zemi a brzy přicházeli mnozí, kteří chtěli žít v jeho blízkosti. Postavili tam chrám a klášter, jehož představeným se stal Jan. Byl dobrým pastýřem, který mnohé přivedl k Pánu. V sedmdesáti letech života odešel ke svému Pánu - 18.8.946. Jeho ostatky byly uloženy v Sofii, později byly přeneseny do Ostřihomi, odtud do Trnova (Bulharsko) a 19.10.1238 do Rylského kláštera, kde se nalézají dodnes.