相傳大雁南飛到衡陽而返，故衡陽市南有一座秀麗挺拔的山峰，稱為回雁峰，每到秋冬之際，成群的大雁就落在這里等待來年開春時(shí)又返飛北方?；匮惴迥耸悄显榔呤逯?，因風(fēng)景秀致，乃成為衡陽游覽、聚會(huì)的勝地。唐德宗光啟年間，回雁峰下住著一名歌妓，叫王幼玉，她原本是北方的大家閨秀，因黃巢起義，戰(zhàn)亂騷擾，隨家人避難來到衡陽，父母雙亡后，幼玉的生計(jì)失去著落，只好憑著天生一副婉轉(zhuǎn)歌喉，加上艷麗的容貌和高雅的氣韻，做了一名侍客的歌妓。

那些腰纏萬貫的富商，平時(shí)經(jīng)營時(shí)錙銖必較，而聲色享樂時(shí)卻揮土如金。因王幼玉艷名遠(yuǎn)揚(yáng)，所以南北富商到了衡陽，都想找她取樂。其中不少商人傾倒于王幼玉的美貌和風(fēng)韻，許以重金求娶她為妻為妾，而王幼玉則自有主張。對滿身銅臭味的商人多是以禮相待，以歌相奉，決不肯委身相隨。

不料，終有一天，王幼玉還是做了一個(gè)商人的“俘虜”，他就是洛陽商人柳富。柳富是洛陽的世家子弟，儀表英俊，氣度儒雅，本是讀書出身，因未考取功名而改習(xí)武藝，練有一手好劍法。他性情剛烈，憑著出色的武功和年輕氣盛，在家鄉(xiāng)不免做些仗義行俠之事，惹了不少是非，父親為了磨練他的性子，也為讓他增長些見識，就讓他隨商隊(duì)南行，同時(shí)學(xué)習(xí)經(jīng)商。正因?yàn)榧沂捞厥?，所以他雖為商人，卻沒有一般商人的鄙俗之氣，眉宇間展露著靈杰和豪爽。第一次在宴會(huì)上見到獻(xiàn)歌的王幼玉，他就被她高雅的氣質(zhì)和動(dòng)人的歌聲深深吸引住了，第二天又登門拜訪她。王幼玉很快也被這個(gè)年輕商人的特殊氣度打動(dòng)。于是，兩個(gè)人由互相傾慕到情投意合，很快便成了一對親密的情侶。