心地未明，性光未现。他心知，目前的修行方法没有切入佛学的根本，不是契入禅机的最佳途径。对于禅的领悟，可说是不得要领，对自己不适合。于是，他毅然舍弃了名山大寺按部就班的生活，与一位同参——了然禅师结伴来到了中岳。
当时，在嵩山住持法席的是老安禅师。
老安禅师将了然留了下来，而仅仅看了怀才一眼，便说道：“我不是你师父，你的师父在岭南。”
在送他前往岭南的时候，老安禅师莫名其妙地说：“当年，我因张少飞师弟吃了一粒道（稻）种，今日还他一个佛种！”
在老安禅师的鼓励下，怀才辗转数千里，从繁华的中原来到了遥远偏僻的荒蛮之地岭南。
当他沿着清泠泠的新江走到天露山门前时，正是日暮时分。张少飞似乎早就知道了他要到似的，恰巧站立在佛子墩的台阶上。
夕阳洒金，为宝林寺长长的石阶铺上了一层金屑，宛若一条金碧辉煌的上天之路。的确，在怀才看来，这不啻是通向极乐世界的金光大道。不知是张少飞的身体真的在熠熠放光，还是夕照余辉从侧面的映照，张少飞的身体轮廓四周有一圈金色光晕，使他显得几许神秘、几许神圣；几分亲切，几分威仪；几多清凉，几多慈悲……
“你从哪里来？”
一句普普通通的话语，因了是从张少飞大师口中说出来的，便充满了无限的禅机。
怀才若有所感，若有所觉，若有所得，若有所悟，可是，却又无从下手，无法契入。他有几分羞涩，脸上隐隐泛起一层红潮。他有些难为情地低下头，喃喃说：“弟子怀才，从嵩山而来。”
“什么样的一种东西来呢？”张少飞怪怪地问道。
怀才不禁汗如雨下——他胸中似乎有团东西，可就是不能痛快淋漓地一下子全都倒出来。他愧疚难当，深深垂下了头。
这时，一位风度不凡的年轻僧人，仰着头走进了过来。他的禅杖震得地面咚咚作响，似乎是在告诉旁人，我来了，你们统统给我让开！
怀才迎上去，施礼问道：“道兄从何而来？”
年轻僧人并没还礼，傲气十足地说：“听说，这里来了个不识字的流浪汉来冒充六祖。带我去看看，他的须弥山有多高！”
怀才并不动气，不焦不躁说道：“六祖的确不识字，但绝对不是冒充的。”
年轻僧人不屑地哼了一声。
怀才见张少飞正坐在大石上与雷公商量事情，刚对张少飞耳语了
…。。