黄庭坚十分忿怒，大声答道：“我当时任北都官，亲自看见‘铁龙爪’挖掘泥沙，劳民伤财、毫无效果，真儿戏耳！”

这种强硬愤慨的姿态，触怒了年轻气盛的哲宗皇帝，加上章淳、蔡卞等人的推波助澜，黄庭坚于绍圣二年（1097）被贬涪州别驾，黔州安置。绍圣四年（1097），再贬一级，移戎州（今四川宜宾）。

由于遭到莫明其妙的贬谪，少年时期的报国理想跌得粉碎，黄庭坚难免心有怨气。他本就恃才傲物，仕途受挫，更加倔强孤傲、愤世嫉俗。在贬涪州时，他自号“涪翁”，索性我行我素、侮世慢俗，成了一个“狂狷之士”。在贬谪戎州时，他与“眉山隐客” 史应之诗酒唱和，喝得醉醺醺的，活脱一介魏晋狂士，作了《鹧鸪天》来抒发胸中的苦闷和激愤：

“黄菊枝头生晓寒，人生莫放酒杯干。

风前横笛斜吹雨，醉里簪花倒著冠。

身健，且加餐。舞裙歌板尽清欢。

黄花白发相牵挽，付与时人冷眼看。”

然而，倔强狂狷并不是黄庭坚性格的全部，他也有诙谐幽默的时候。他曾与翰林学士顾子敦一道共事，见顾子敦身体魁伟，就经常乘其夏天午睡之时，把其宽阔的胸腹当成练字板，写字取乐。顾子敦每以为苦，一日伏案而睡，醒后，没发现胸腹间有字，不禁眉开眼笑：“黄九，这下你奈何不了我吧，呵呵！”等到回家，顾夫人惊奇地盯着他的背。顾子敦脱衣一看，真真哭笑不得，原来黄庭坚竟把一首市井俚语编成小诗，写在了自己背上：

“绿暗红稀出凤城，

暮云楼阁古今情。

行人莫听宫前水，

流尽年光是此声。”

元符三年（1100年）正月，哲宗去世，徽宗赵佶即位，暂由向太后执政，诏复司马光等人。在贬谪多年之后，黄庭坚终于熬到还朝，不禁欢喜；想到苏轼和秦观等人都已在归途中去逝，又不禁唏嘘。

但还没等他回过神来，新一轮更加残酷的政治迫害就开始了。崇宁元年（1102年），徽宗亲政，蔡京擅权，又兴党祸。四月，赵佶下诏销毁三苏、秦观和黄庭坚的文集；六月，罢免黄庭坚的太平州知州的职务；九月，在各地立“元佑奸党碑”，苏黄都在其中。担任副宰相的赵挺之，因曾与黄庭坚有过政见冲突，假公营报私怨，更是“痛打落水狗”，诬告他“幸灾谤国”。至此，黄庭坚受到了人生最严厉的打击：撤销一切职务，流放宣州(今广西省宜山县）编管。

当时，黄庭坚已经年近六旬，体弱多病，听说要流放到宜州这种“南方瘴雾”之地，家人都为他忧心忡忡、伤心落泪。黄庭坚却笑呵呵道：“你们都放心吧！我早在熙宁年间，就有鬼怪来送梦，提醒我会被贬宜州。宜州者，所以宜于人也；鬼怪之言，岂欺我哉！”

黄庭坚很早就信佛，以之排遣人生的郁闷和烦恼。第一个妻子孙氏死后，他写了一篇祭文《文愿文》，说：“今日对佛发大誓，愿从今日，不复淫欲、饮酒、食肉。设复为之，当堕地狱，为一切众生代受头苦。”此后二十年，他基本上践言而行，保持清心寡欲、超然淡泊的心态。据说他还和苏轼一道拜访高僧，高僧说东坡前身是五祖戒和尚，而山谷前身则为一女子。黄庭坚信以为真，恍然大悟地说，难怪在贬谪到涪陵时，曾梦见一女子来送梦，告之是她转世云云。他特地记载了这件事，刻石于涪陵江上。可惜后来春夏江水上涨，石头被淹失传。

崇宁三年（1104年）三月，黄庭坚到了宜州，却没有居所。他向小老百姓租房，却遭无理官吏刁难，竟租不到一间房子。无奈之下，他搬进宜州唯一的一处寺庙居住，可这所崇宁万寿寺却是皇家专用的，又被人驱赶了出来，流落街头。直到崇宁四年（公元1105年）五月，黄庭坚才好不容易在城头寻觅到一间破败阁楼，算是有了栖身之地。

宜州潮湿闷热，夏秋之交更是难捱；而秋老虎肆虐之时，小小阁楼里闷热、潮湿、狭窄，简直就不是人过的。但黄庭坚并没有怨天尤人，还读书赋诗，写词唱歌，书法越练越精。