公元1162年,已届晚年的吴源辞去医官返乡回到故里,过着隐居的山田生活,其与文人为伍,共赏江南秀色,著有《南熏诗集》,载诗千余首,并自号南熏老人。其整日吟诗咏词,教子修性,作有训子诗词,云:五世活人功已积,一经教子意难忘,尔曹好展摩云翻,伴我黄花晚节香。