六朝时期，佛教经由海路从广州传入中国，南亚、东南亚不少著名高僧随商船取道南海，从广州着陆进入华地，开展译经、授徒和建寺等佛教传播活动。华林寺的前身叫西来庵，隋代以前此地为珠江岸。南朝梁武帝普通七年（526年） ，佛陀释迦摩尼第28代传人菩提达摩泛海到达南海（今广州）。他首先在今西来初地处登岸，并在登陆处建西来庵。后世信徒尊奉达摩为中国佛教禅宗的始祖，因而称其当年登陆地为西来初地。

达摩一行远涉重洋，在海上颠簸了三年之后，终于武帝普通七年（526年）九月二十一日到达了广州。受到了广州刺吏萧昂备的热情接待。后来，在绣衣坊附近建造法堂（又称传佛心印的第一道场，尊称“西来庵”），授徒传教，驻留3年。这是达摩祖师在我国最先传扬佛教教义的圣地。西来庵于清顺治十二年(1655年)首建大雄宝殿，次年建楼阁堂庞察室，改称华林寺，成为广州佛教四大丛林之一。

华林寺外街区有一口五眼古井，又名“达摩井”，相传为达摩居“西来初地”时开挖。为了能令更多人可以同时垂桶下井汲水，而又不致互相纠缠，所以便造了5个井眼，通称“五眼井”。又传说当年华林寺的僧人，便用此井水配上丹药替人医治眼疾，甚有成效，颇为神异。

历史上还流传下来不少关于达摩的故事，其中家喻户晓、为人乐道的有：一苇渡江、面壁九年，断臂立雪，只履西归等。这些故事都表达了后人对达摩的敬仰和怀念之情。梁武帝信佛，达摩在广州传教授徒3年后，受梁武帝之邀前往建康(今南京)传教。

话说达摩从广州起程历经艰辛，不日到达南朝都城建业。第一次会面梁武帝，便面谈不契。达摩是禅宗大乘派，普渡众生。由于他们的主张不同，每谈论起佛事，二人总是不投机。达摩感到南京不是久留活动的地方，于是便告辞萧衍，渡江北上北魏都城洛阳。当他来到洛阳时，看到永宁寺内十分精美的宝塔，自云：“年一百五十岁，历游诸国”，从未见到过，“极佛境界，亦未有此!”因而“口唱南无，合掌连日” 。后到嵩山少林寺，“面壁而坐，终日默然，人莫之测，谓之壁观婆罗门” 。在此期间，收弟子慧可，有慧可“立雪断臂”的故事流行于世。之后，他与弟子继续北行传法 。其时，不仅受人“讥谤”，而且还遭到了光统律师、流支三藏等人的人身迫害，六次被毒，最终因中毒不救而死。此时达摩已碾转北方颠扑流离9年。又一说在他死后三年，魏使宋云自西域回国时，又在葱岭遇到他。见他“手携只履，翩翩独逝。”当时宋云问他：大师到哪里去?他的回答是：回西天去。所以，又有“只履西归”的传说。如果宋云所说属实的话，那就有可能是达摩本来就没有死，而是重返故土了 。

达摩祖师在嵩山、洛阳、临漳、禹门间，作头陀行长达六年。终于在西归前,作出两项重要决定：其一，单传衣钵与四卷本《楞伽经》给二祖慧可,其叮嘱暗示：自禅宗二世起，必须做五世艰苦的奋争。自六祖之后，才“衣止不传，法周沙界。”到时“结果自然成”。其二，提出“佛法南移”的构想。西魏大统二年(536年)春，达摩于豫陕边西行途中，东魏太常寺卿宋云问：“祖师所传之法，何日能在东土兴旺？”他直言：“一百七十年后，佛法当在南方衍盛。”再问：“南方何地？”答曰：“王园、曹溪。”

达摩在中国始传禅宗，“直指人心，见性成佛，不立文字，教外别传”，经二祖慧可，三祖道育、四祖僧副、五祖昙林、六祖慧能等大力弘扬，终于一花五叶，盛开秘苑，成为中国佛教最大宗门，后人便尊达摩为中国禅宗初祖，尊少林寺为中国禅宗祖庭。

达摩祖师在中国创立了禅宗，起点在广州，而最终又把禅宗兴盛的希望寄托于广州。禅宗五代单传后，达摩初祖的予言实现，曹溪禅崛起，开创了中国禅。