刘程之最初担任政府的参军,当时的王公大臣皆先后地引荐他高升其他的官职,刘程之都坚决地推辞。
当时慧远大师,居住在庐山的东林寺,修习念佛三昧,刘程之于是前往依止。慧远大师说:‘官禄显赫,云何不为呢?’刘程之说:‘晋朝没有磐石的坚固,有情众生却有累卵的危险,我又何必去作官呢?’当时南朝刘宋的皇帝刘裕因为刘程之不屈服于官禄,因此称他为“遗民”以赞扬他高洁的德行。同时有一些具有清净信心的士人,如宗悫、雷次宗、周续之、张野、张诠、毕颖之等人,也都来庐山依止慧远大师修行。于是大家在西方三圣像前,营建房舍创立莲社,一同修行净土法门,由刘程之镌刻石头立下誓愿,其