東漢建安五年(200年),漢壽亭侯關羽掛印封金,護衛著甘、糜二夫人離開曹營,過關斬將,進發河北。路經汜水關時,守將卞善欲借鎮國寺宴請關羽之機,擊箋為號,加害於他。寺僧普淨與關羽為蒲州同鄉,不忍義友罹難,遂將此凶訊及時告知關羽,方得脫險。關羽走後,普淨自知當地難留,便收抬衣缽,雲游至玉泉山,辟荒拓野,築茅而居,這便是玉泉寺最初的雛形。
普淨和尚在此坐禅修道十余載。蜀主劉備為酬謝其救弟之恩,敕令撥款建寺,取名“普淨庵”。
建安十四年(219年),關羽失守荊州,敗走麥城,被呂蒙所害,安葬於普淨庵東20余裡處(今當陽縣城西北關陵廟內)。據說,關羽雖軀身被斬,陰魂卻聚結不散,隨著一陣輕風悠悠蕩蕩飄至玉泉山普淨庵上空,顫聲大呼:“還我頭來!”
這日,普淨正在庵中打坐,聽上空有陰魂作響,仰面谛視,見雲端立一紅面長髯的大漢,腿跨赤兔馬,手握偃月刀,兩側站著白臉、黑臉二虎將,知是關羽前來,遂對空中喊道:“雲長兄安在?”
關羽馳馬乘風而下,落於庵外,叉手詢問:“尊師為何人?願求法號。”
普淨說:“老僧普淨,昔日汜水關鎮國寺中,曾與君侯相會,今日豈可忘記哩?”
關羽見恩公在此,伏頭納拜,道:“向蒙相救,銘記不忘。今關某已遇禍而死.願求指點迷津。”
普淨道:“世間是非,何求論斷,前因後果,生死輪回。今將軍已被呂蒙所害,大呼還我頭來,然則顏良、文丑、五關六將,又向誰索頭耶?”
關羽一經點化,天機頓悟,稽首皈歸而去。那赤兔馬亦受感動,四蹄刨土,掘成大坑,噴出一泓碧澈泉水,飛濤濺沫,急湍奔流。這就是“珍珠泉”,位於今玉泉寺左側,又名“馬跑泉”。泉流附近,豎立著一塊明萬歷年間制作的石望表,上刻“關雲長顯聖處”。傳說,關羽曾多次在玉泉山顯聖護民,深受愛戴,人們便以“關公”、“關聖”相稱,奉祀他的關帝廟遍及全國各地。
玉泉寺的正式命名始於隋開皇十二年(582年)。當時,被晉王楊廣封為“智者大師”的高僧智顗,自天台山參訪此地,暫居普淨庵內傳法。楊廣與智顗私交甚深,便下令在普淨庵舊址大興土木,建成一座頗具規模的寺院,取名“玉泉寺”,並親書“智者道場”匾額懸於寺內大雄寶殿上。
智顗大師在玉泉寺舉行盛大法會,為關公父子受菩薩戒,超度忠魂。他還廣開佛緣,宣講《法華經》,傳經布道達三年之久。當時,天下僧俗聞風踵至,玉泉寺聲名日振。
唐代被武則天和中宗尊為“國師”的禅宗北派祖師神秀,亦在玉泉寺講授禅學,圓寂後歸葬於此。