位于柳州东南面的大龙潭，古称雷塘，此处雷霆特盛，唐代著名政治家、文学家柳宗元曾在其散文游记《柳州山水近治可游者记》中写道：“雷山两崖皆东面，雷水出焉。蓄崖中曰雷塘，能出云气，作雷雨，变见有光。”古人认为潭水通龙宫，有神龙潜居水中，能兴雷降雨，因此依塘立庙，供奉雷龙二神，岁时祭祀，每逢天早，柳州百姓就到这里祈求苍天降雨。

　　唐元和十年(公元815年)农历六月，柳宗元从长安水陆兼程来到柳州任刺史，时值大旱，柳刺史依当地习俗来雷塘庙旁设祭坛求雨。据史料记载，求雨后三天柳州下起了大雨。雨水滋润田里的作物，更滋润了柳州老百姓的心。从此，雷塘庙这座千年古庙因柳宗元为民求雨应验成为柳州百姓心中神圣的许愿圣地，成为柳州一方名胜。 

   雷塘庙在唐代以前已依潭而立，历代都有兴废、修葺，香火时断时续。清乾隆年间称雷龙观，现尚有雷塘庙界石遗存，历千年风雨沧桑，保存完好。如今柳州人在原址上重建雷塘庙，建筑为两进三间，坐北朝南，正殿供奉雷龙二神，柳州市民常来此许愿祭拜，成为柳州本土文化的特色代表。为弘扬中国的传统文化，宣传柳州本土文化，从2004年开始，龙潭公园每年春节都会举办一年一度的大龙潭雷塘庙会，重现当年柳宗元为民祈雨的热闹场景，并融入创新本土文化元素。如今，大龙潭雷塘庙会已成为柳州人过春节必看的文化大餐。