元朝延祐年間，天水人趙源，父母雙亡，尚未娶妻，遊學到錢塘縣，客居在西湖的葛嶺之上。南宋宰相賈似道的故宅，就在他客寓的附近。
趙源因獨居無聊，常常於入夜後站在門外納涼。有一晚，看到一名女子從東邊而來，年約十五六歲，綠衣雙鬟，雖然打扮樸素，但自有一番動人風采。趙源對她注目良久，不禁為之神往。隔天晚上出門又看見她，如此凡數次，似乎一到晚上，那個女郎就會從趙源屋門口經過。
有一晚，趙源忍不住上前搭訕：「妳家住哪裡？怎麼每晚都從這裡經過？」女郎笑著說：「我家就在你家附近，只是你自己不知道罷了！」趙源用言語挑逗她，女郎竟欣然回應，於是趙源就留她過夜，在床上自有一番說不盡的你儂我儂。
第二天一早，女郎就走了，但到了晚上又來。如此經過一個多月，彼此情愛甚濃。趙源每次問她的姓名居址，女郎總是說：「你只要有美女相伴就夠了，何必一定要知道？」他若再好奇地問，女郎就回答說：「我都穿綠衣裳，你就叫我綠衣人好了！」還是不告訴他姓名和住處。趙源心想她可能是巨宅的媵妾，夜裡私奔，怕事跡敗露才下敢說實話，於是也就不再追問。
有一晚，趙源喝了酒，開玩笑地指著她的綠衣裳說：「這真可說是『綠兮衣兮，綠衣黃裳』了！」想不到女郎聽了，臉上竟露出羞慚之色，以後幾晚竟都不再來。等到再來時，趙源問她為什麼生氣，女郎說：「本想和你白首偕老，想不到你卻將我當婢妾看待，讓我心裡蹩扭不安。想來你已隱約知道一二，我就不再隱瞞你，我和你原是舊識，如果不是至情所感，我們也不會有今天。」趙源聽得滿頭霧水，問她原因，女郎這才悲戚地說：「老實告訴你，我不是今世人，但也不會害你，大概是冥數使然，我們的夙緣未盡吧！」此話一出，趙源大驚，忙說他不知道這究竟是怎麼一回事。
於是女郎說：「我本是宋朝賈似道宰相府中的侍女，因為精於棋藝，在十五歲時就入侍相府。賈似道退朝回家後，就叫我陪他下棋，我很受他寵愛。當時，你是相府裡負責煎茶的廝童，因為要供奉茶水，所以能到後堂來。我看你年少俊美，內心愛慕，曾經暗中塞給你綉鞋、錢包等物，而你也送我耳環、脂盒，我們雖然彼此有意，但內外嚴密，沒有機會相聚。後來不幸被其他僕婦發覺，向宰相進讒言，結果我們兩人被賜死在西湖斷橋下。如今你已又轉世為人，而我卻還名列鬼錄，真是命運作弄！」說完，嗚咽淚下。
趙源聽了，為之動容唏噓良久，說：「如果是這樣，那我和妳就
是再世姻緣了，應該更加親愛以達成我倆昔日的心願。」於是趙源將女郎留在家裡，不再讓她離開。趙源本來不太會下棋，女郎遂教他下棋，而且盡得其妙。女郎也常向趙源提起昔日賈似道家中的舊事，就好像親眼目睹般。如此快樂地生活了三年，有一天，女郎竟臥病不起，趙源想請醫生來治療，女郎卻說：「不必了，我和你只有三年的緣份，如今時辰已到，因緣之契，夫婦之情就此結束了。」說完，抓住趙源的手臂，聲淚俱下，便與他永訣了。（翦燈新話；明．瞿佑）