小忽雷的传说流传着两个版本。
相传公元781年,曾任唐朝检校左仆射同中书门下平章事(相当于宰相)的大书画家韩滉,在四川骆谷地方发现了一株奇树,便命知县派工匠砍伐下来。该树木质坚硬,敲上去发出金石之声,看树纹有金色交织其间。于是,他请技艺高超的琴工制出两张琴,名日大忽雷、小忽雷。这样宝贵的琴,韩滉未敢私留,献给了唐德宗。公元835年,宫廷发生了“甘露之变”,宦官仇士良专权,纵禁兵血洗宫廷。从此,大、小忽雷即流落到民间。
此时,宫中有个姓郑的女音乐家,因她是宫女中的艺官,人呼郑中丞。她文化教养好,通经史,能诗善画,会奏多种乐器,尤精于琵琶。她曾经弹过小忽雷,后来因小忽雷的匙头坏了,被送到崇仁坊赵家去修理。一天,唐文宗听郑中丞弹琴,嫌曲调悲凉,龙颜不悦,命太监将她勒死。扔到河里。当时有个叫梁厚本的宫中官吏正在河边钓鱼,忽见河上漂着一件东西,大约有六尺多长,两人合抱那么粗,用锦缎帛绸缠着。梁厚本忙命人捞上岸来,里面原来是一口棺材。打开一看,内有一具女尸,面貌如生。解去脖子上的绸帛,口里似乎还有气,灌以米粥,竟苏醒过来。她就是郑中丞,后来成了梁厚本的小妾。
梁厚本听郑中丞讲小忽雷在崇仁坊赵家,花了很多钱,终将小忽雷赎回。郑中丞见到自己弹过的乐器,恍如隔世,万分高兴。但她白天不敢弹奏,只有在晚上才能轻轻弹奏拨。有时把小忽雷抱在怀里,自言自语地说:“琴啊!琴啊!人们说‘偷生儿子畏人’,我和你是同样的命运啊!”
有一天,天气晴和,梁厚本和妻子在花下饮酒,郑中丞在旁弹起小忽雷,梁厚本高兴极了。想不到这时宫中黄门侍郎放鹞子从墙外经过,听到了琵琶声,他暗暗说道:“这曲子我在宫中听过,这不是郑中丞弹小忽雷吗?郑中丞已死,被抛到御河里了,难道说这是她的鬼魂在泣诉吗?黄门侍郎把这怪事告诉了皇帝。文宗得知郑中丞还活着,又是惊喜又是后悔,后悔对郑中丞的赐死太过分了。当听说她现在已经给梁厚本作妾时,不但没有责怪,反而给了他们夫妻很多赏赐。”