可是，少游因苏轼而成名，也因苏轼而倒霉：可谓成也苏轼，败也苏轼！

在“洛”、“蜀”、“朔”党的争斗中，少游被视为苏轼的“铁杆”而频频受到政敌的攻击。他创作的艳情词，也成为罪状之一，元祐五年五月，右谏议大夫朱光庭奏言：“新除太常博士秦观，素号薄徒，恶行非一”，苏轼被贬杭州，少游也被贬出京。绍圣元年（1094），苏轼再次受到排挤，被贬到惠州，少游也被贬为监处州茶盐酒税。

在处州，少游为了消愁解闷，经常与僧人谈禅论道，写了一首《题法海平阇黎》诗。岂料恰因诗中的“因循移病依香火，写得弥陀七万言”的两句，被政敌们罗织了“谒告写佛书”的罪名，于绍圣三年（1096），受到“削秩徙郴州”的严惩。“削秩”，是删除所有的官职封号，是对当时士大夫最严重的惩罚。

关于秦观的性格，《宋史 秦观传》这样说：“少豪隽慷慨，溢於文词，……，强志盛气，好大而见奇，读兵家书与己意合”。还有宋人说他十五岁丧父，侍母家居，研习经史兵书，二十四岁作《郭子仪单骑见虏赋》，“事方急则宜有异谋，军既孤则难拘常法。……所以彻卫四环，去兵两夹。虽锋无镆邪之锐，而势有泰山之压。”似乎，秦观少时豪隽狂放，胸怀“驰骋沙场”之大志，颇似文武双全的岳飞或者辛弃疾。

对此，我是很怀疑的。因为，从秦观的词风上，看不到一丝英武豪迈之气，呈现的是一个敏感、纤细、脆弱、温情、忧郁的书生形象；从他作词的题材看，绝大多数是男女情愁，极少谈论兵书战事、国计民生之类。而纵观少游的人生经历，他步入仕途后的表现，亦无英雄气概。他在“党争”中屡屡受气，逐渐变得抑郁寡欢，再至彻底绝望，对前景完全失去信心，陷入哀伤、悲凄之中而不能自拔。

性情的改变，使得他后期作词，凸现出凄凉的“身世之感”，忧伤悲苦的情调成为主旋律，词风也由早先的“闲愁凄婉”而变成“悲楚凄厉”。

在处州任监洒税官时，少游曾到城外的溪水边散心。春花黄莺的美景不仅没有带给他宽慰，反而引发了春光易逝、良辰不再的忧愁苦闷，填了一首《千秋岁》：

“水边沙外，城郭春寒退。

花影乱，莺声碎。

飘零疏酒盏，离别宽衣带。

人不见，碧云暮合空相对。

忆昔西池会，鵷鹭同飞盖。

携手处，今谁在？

日边清梦断，镜里朱颜改。

春去也，飞红万点愁如海。”

此词一咏三叹，缠绵哀怨，凄婉动人，结尾的“春去也，飞红万点愁如海”一句，以海喻愁，意境开阔，类似李煜的“问君能有几多愁，恰是一江春水向东流”，夏闰庵云：“此词以‘愁如海’一语生色，全体皆振，乃所谓警句也。”这首词很快就传唱开了，权臣曾布听后，也不禁感动，叹息道：“‘春去也，飞红万点愁如海‘，少游如此忧愁悲伤，能活得长吗！”