传说唐朝武则天当女皇的年间，有一年冬天，天刚下过大雪，武则天领着一群宫娥彩女和大小太监到御花园观赏雪后园景。 她见梅花正在开放，忽然想起春天百花盛开的情景，转身命小太监捧出文房四宝，提笔写了一道圣旨，意思是：武后则天谕旨，御园百花须知，明日复春一日，百花不得来迟。写罢，将圣旨悬挂在园中的赏花亭上。

    当天，正在御花园值日的梅花仙子接到圣旨后，不敢怠慢，急忙回到百花仙境。本想立即将圣旨宣读给百花仙主——牡丹仙子听。可是，仙境里九十八位花仙都在，惟独没有牡丹仙子。梅花仙子只好向众花仙子宣读圣旨，众仙子很着急，误了圣旨谁也担当不起，没有牡丹仙子的话，谁又敢擅自去御花园？大家商议委托最小的丁香花仙去寻找牡丹仙子。丁香仙子飞遍三山五岳，五湖四海，终于在蓬莱仙境找到了牡丹仙子，他正和南极仙翁下棋。丁香仙子低声向牡丹仙子禀报了来意。可棋兴正浓的牡丹仙子，只说了声：“你回去吧，我知道了！又埋头下起棋来。丁香仙子见此情景，只好一个人走了。 当他返回百花仙境时，天已经快亮了，仙境里一个人影也没有。丁香仙子知道，众花仙害怕误了时辰，早已下界去了。“唉！ 我也不能耽误啊！赶紧走吧！他自言自语地说完，便拖着疲劳的身子，向下界的皇宫御花园飞去了。

    在御花园里，九十八种花卉竟相开放，惟独牡丹和丁香二花没开，赏花亭上，女皇武则天一边听着花匠报花名。一边开心地欣赏各种名花。当她听完花匠报的花名没有牡丹花和丁香花时，心里很不痛快，即嘱咐花匠再去看一看二花开了没有。花匠经察看回报说：“丁香花刚刚打骨朵，牡丹花还没有开放的意思。”武则天大怒，厉声吩咐花匠道：给我把牡丹花连根刨了，用火烧后贬到洛阳；丁香花因误了开花的时辰，也放逐到关外的千山。

    丁香仙子含冤受屈地流着眼泪告别众位花仙，孤独一人来到千朵莲花山的南沟安了家。打那以后，丁香仙子在千山繁殖了一片又一片，满山遍野到处都有丁香仙子的后代。后来，人们在丁香仙子落脚的地方，建起了一座规模很大的寺庙。寺庙建成后，正赶上漫山丁香花开放，香气弥漫了寺庙和山崖。因此，人们就把这寺庙取名为“香岩寺”。