作者在第三、四句代雁作了回答：“二十五弦弹夜月，不胜清怨却飞来。”湘江女神在月夜下鼓瑟（二十五弦），那瑟声凄凉哀怨，大雁不忍再听下去，才飞回北方的。

诗人就是这样借助丰富的想象和优美的神话，为读者展现了湘神鼓瑟的凄清境界，着意塑造了多情善感而又通晓音乐的大雁形象。然而，诗人笔下的湘神鼓瑟为什么那样凄凉？大雁又是为什么那样“不胜清怨”呢？为了弄清诗人所表达的思想感情，无妨看看他考进士的成名之作《湘灵鼓瑟》。在那首诗中，作者用“苍梧来怨慕”的诗句指出，湘水江神鼓瑟之所以哀怨，是由于她在乐声中寄托了对死于苍梧的丈夫──舜的思念。同时，诗中还有“楚客不堪听”的诗句，表现了贬迁于湘江的“楚客”对瑟声哀怨之情的不堪忍受。

拿《湘灵鼓瑟》同《归雁》相对照，使我们领会到：《归雁》中的“不胜清怨却飞来”一句，原来是从“楚客不堪听”敷演而来，作者是按照贬迁异地的“楚客”来塑造客居湘江的旅雁的形象的。故而，他使旅雁听到湘灵的充满思亲之悲的瑟声，便乡愁郁怀，羁思难耐，而毅然离开优美富足的湘江，向北方飞回。“虽信美而非吾土兮，曾何足以少留”，建安文学家王粲《登楼赋》中的这两句揭示羁客情怀的名言，正可借来说明《归雁》诗中旅雁听瑟飞回时的“心情”，而诗人正是借写充满客愁的旅雁，婉转地表露了宦游他乡的羁旅之思。这首诗构思新颖，想象丰富，笔法空灵，抒情婉转，意趣含蕴。它以独特的艺术特色，而成为引人注目的咏雁名篇之一。