此词写晚春游湖感怀，追忆往昔湖上与情人遇合的欢悦和别离的悲伤，对已故情人表示沉痛的悼念，也寄寓了对自己长期孤身漂泊的不幸身世的感慨。全词以大开大阖之笔，集中而形象地表现了伤春惜别之情，在结构上体现出时空交错的特点。
全词分为四段，长达二百四十字，形同一小赋。第一段写现实，作者在爱妾死后，犹自在苏州伤春。将伤别放在伤春这一特定的情境中来写，语气舒缓，意境深长。开头以暮春独居起兴，触发羁情。时值春暮时节，残寒病酒，“病酒”属人事，“残寒”属天时，揭出天时人事之衰颓；而着一“欺”字，实寓人事可为、天意难背之无奈。起句凄紧，已将典型环境中典型情绪写出，并以此笼罩全篇，笔力遒劲，寄正于闲，寓刚于柔。“掩沈香绣户”一句状其孤独，而“沈香绣户”四字，显然又隐藏了一段旖旎情事，如今“掩”去，则苦痛虽不明言而隐约可感。接下去写燕飞西城，始写及暮春景致。燕燕于飞，画船轻载、晴烟冉冉，无一非即见之景，然与当年去妾之时节，非常相似。作者在湖中看到此景，不禁羁思飞扬起来。羁情化为轻絮，随风飘荡，正如此时作者的思绪一样，似乎所起有因，但终不知归于何处。此处写羁情而似随风飘荡的轻絮，貌似轻灵，实状心绪散乱之形。羁情游荡飘逸，最后落定在对西湖十载游治之事的追溯上。
第二段追溯西湖刻骨铭心的情事，写初遇时的欢情，并寄寓欢会有限终寓别离的怅恨。从《渡江云·西湖清明》等描写杭州情事的词可以知道，初遇时间在清明时分，地点在杭州西湖。作者开始是骑马，后来“傍柳系马”，舍陆而舟，转入水路，通过婢女传书暗通情意，招入“仙溪”的伊人居处。此处暗用东汉刘晨、阮肇入天台山遇仙女之事，曲折地写出伊人的姿色不凡与相识相交的离奇经历。“锦儿偷寄幽素”一句，委婉写出两人的交遇并非一帆风顺，其中或有阻隔。“倚银屏、春宽梦窄，断红湿、歌纨金缕”二句，是写初遇时悲喜交集之状。“春宽梦窄”是说春色无边而欢事无多，“断红湿、歌纨金缕”是说因欢喜感激而泪湿歌扇与金缕衣。歌纨、金缕，皆别前之物，如今徒成叹息而已。“暝堤空，轻把斜阳，总还鸥鹭”三句以景结情，进一步写欢情，但含蓄不露，意味无穷，蕴藉空灵，品格自高。
第三段述写别后情事。“幽兰旋老”三句突接，跳接，峰断云连，因这里和上段结处实际上还有较大距离。此段先写暮春又至，自己依然客居水乡。这既与“十载西湖”相应，又唤起了伤春伤别之情。正是通过这种反复吟咏，将伤春伤别之情抒发得淋漓尽致。于是从别后重寻旧地时展开想象，回首初遇、临分等难以忘怀的种种情景。“别后访”四句是逆溯之笔，即一层层地倒叙上去。先是写花谢春空，芳事已随流水，然后写风雨葬花，实则暗示人也已随花而去。这是赋，也是比，是写风景而兼道人事。于是逆溯上去，追叙初遇。“长波妒盼”至“记当时短楫桃根渡”，这是倒装句，依文法次序应该是：“记当时短楫桃根渡”，“长波妒盼，遥山羞黛，渔灯分影春江宿”。这几句是写当时艳遇，伊人顾盼生情，多么艳丽，即使是潋滟的春波，也要妒忌她的眼色之美；苍翠的远山也羞比她的蛾眉，而自愧不如。因旧情难忘，所以在重访时又念此情。这几句相对于第二段是再次吟咏，当时在西湖上偷传情意以及后来的欢爱再次呈现在读者眼前，但是所用意象不同，而且体现出创作之理也不同，这次抒写已经有了生离死别的意味。此段结处承上补写分手情况。
第四段淋漓尽致地抒写对逝者的凭吊之情。悼亡、招魂、自伤，句句伤心欲绝；感情更为深沉，意境更为开阔。因伊人已逝去，已非一日，作者对她的悼念，也已经岁经年，但绵绵长恨，不随伊人的逝去日久、自己的逐渐衰老而有所遗忘。于是作者便在更长的时间中，更为广阔的空间内，极目伤心，长歌当哭，继续抒写他胸中的无限悲痛之情。这里主要是怅望：“危亭望极，草色天涯，叹鬓侵半苎”；是寄恨：“殷勤待写，书中长恨，蓝霞辽海沈过雁”；是凭吊：“伤心千里江南，怨曲重招，断魂在否？”也有睹物思人的回忆：“暗点检，离痕欢唾，尚染鲛绡，亸风（钗）迷归，破鸾（镜）慵舞”。意蕴层层加深，都在极力渲染凭吊的巨痛。“漫相思”一句，遂因无人可寄而移情入筝，哀音不绝，相思无已。煞末又因相思无已而寄意招魂，虽是化用《楚辞·招魂》之语，实也是自写其心。
全词以羁情绾合离情，隐含着一种独特的思想感情与美学意蕴，意繁气盛，字凝语练，结构缜密，层次分明，笔力弥漫，灵动多致，其炼意琢句之新奇，空际转身之灵活，皆非有大神力者不可致。据周密《武林旧事》记载，吴文英曾大书此词于丰乐楼壁上，“一时为人传诵”，则作者自赏之心亦昭昭可鉴。