老广州留传下来一句话：“未有羊城，先有光孝。”从史籍记载来考证光孝寺的来历，可见这句话不过是传说而已，但它也说明了广州城中这间最古老寺院历史的悠久。

据《光孝寺志》载，光孝寺初为南越王赵建德之故宅。三国时代，吴国虞翻谪居于此，世称虞苑。罽宾国（今克什米尔）高僧昙摩耶舍在东晋隆安年间(397～401)来广州创建王园寺。后来寺名曾几次更改。唐代称干明法性寺，五代南汉时称干亨寺，北宋时称万寿禅寺，南宋时称报恩广孝寺，明成化十八年（1482年）宪宗朱见深赐“光孝寺”，才易名光孝寺。

光孝寺是广州最古老的佛教寺庙，它与潮州开元寺、韶关南华寺、肇庆鼎湖山的庆云寺并称广东四大名寺。有关六祖慧能法师与光孝寺有一个故事：当年，惠能因为聪明和智慧，从五祖弘忍那里继承了衣钵（袈裟），却遭到了以神秀为首的师弟兄们的妒忌，而遭追杀。惠能一路南下，翻山越岭，历尽艰辛，回到新兴故乡后隐姓埋名，一晃16年过去了。直到唐高宗上元三年（676年），惠能听说广州光孝寺来了大法师印宗，遂来到这里。一天夜晚，印宗法师正在讲经，惠能悄悄入内恭听。忽然吹来一阵大风，悬挂在大殿的佛幡被吹得左右摇动，弟子们议论纷纷。有的说：“幡是无情物、是风在动。”有的说：“明明是幡动，这哪里是风动？”一时间双方各执一词。惠能在旁边听着，觉得双方未能识自本心，便说：“不是风动，也非幡动，而是人的心在动。如果仁者的心不动，风也不动，幡也不动了。”在座的人一听，无不感到震惊。印宗法师见惠能语出不凡，便邀请他入室详细询问。惠能这才将珍藏了16年的袈裟和圣钵出示，印宗这才知道，原来他就是人们追寻了16年的六祖。那天是正月初八。正月十五元宵节，印宗法师在光孝寺大雄宝殿后的一棵菩提树下，给惠能削发受戒，在场的有当时国内十大高僧。后来人们将惠能的头发埋地处，盖一塔，名叫“瘗发塔”。从此，惠能便成为佛教禅宗的六祖。即第六代的宗师，光孝寺因此而名扬天下。

六祖惠能曾因著名的“风幡论辩”而名声威震佛门。此后，慧能在此落发受戒，并在菩提树下为众人说法，宣讲的主要是他自己根据《金刚经》的基本精神所独创的思想，这种思想逐步充实、完善，最后形成了独树一帜、流传至今的禅宗南宗。由于北禅是渐悟，南禅是顿悟。渐悟要渐次修行，花的时间很长。顿悟是说掌握一定的方法后可以快速领悟佛法。为了追求更高的效率，人们自然选择顿悟的南禅。惠能主张人人皆存佛性，可以成佛。“万法唯心”、“佛在我心”、“净心自悟”。及“暗不自暗，以明故暗；暗不自暗，以明变暗；以暗现明，来去相因”等宗旨。他的佛教思想影响遍及日本及东南亚各地。宋代以后，临济、曹洞二家极盛，对日本佛教有深远影响。他留下的《六祖法宝坛经》成为研究中国和世界佛教史的重要著作，他也成为中国历史上著名的思想家。