晚唐诗人杜牧，不但诗名很大，大到被后人称为“小杜”，跟“老杜”即诗圣杜甫相提并论。杜牧风流的名声也很大，不但《唐阙史》、《本事诗》、《唐才子传》等多种文献记载了他多个风流故事，杜牧本人也有“十载飘然绳检外，樽前自献自为酬”（《念昔游》之一）、“十年一觉扬州梦，赢得青楼薄幸名”（《遣怀》）之类的不打自招。

在牛僧孺淮南节度使幕府（在扬州）中担任秘书期间，杜牧经常夜间去花街柳巷，流连忘返。牛僧孺为了杜牧的安全，天天派三十个兵卒换上百姓服装，悄悄跟在他后边，暗中保护。杜牧以为自己行踪秘密，无人知晓。其实，牛僧孺派出的这些兵卒，早就把他的行踪一一写信报告上去了。几年后，杜牧要离开扬州去朝廷担任侍御史。临行之际，牛僧孺善意规劝杜牧，为了身体健康，以后生活要检点一些。杜牧嘴硬，说自己生活一直很检点。牛僧孺就命人拿出一个小书箱，在杜牧面前打开。只见满满一箱子，全是兵卒的秘密报告，有上百封之多，都是“某夕，杜书记过某家，无恙”，“某夕，宴某家”之类。

《唐阙史》、《本事诗》、《唐才子传》等文献记载的杜牧风流故事，有如下两则：

其一发生在杜牧担任侍御史分管东都洛阳期间。

当时有个姓李的司徒（有人说是李愿，有人说是李听），其私家女子乐坊十分豪华，被公认为是当时天下第一。住在洛阳的社会名流，争先恐后要去他府上，见识一番。有一次，这位李司徒大摆筵宴，当时的达官贵人，都在邀请之列。因为杜牧的侍御史职务，是主管社会风纪的，没敢邀请。杜牧就让朋友传递信息，表示自己想要参加这次声色盛会。李司徒不好拒绝，只得派人给杜牧送去请柬。杜牧正在自家对花独酌，已经有了几分醉意。接到请柬，立即赶去。当时李家筵宴上已经开始饮酒，在场侍候宾客的一百多名女仆，个个“绝艺殊色”。独自一人坐在南边一排的杜牧，眼睛直勾勾地盯着这些女仆，连饮三大杯之后，问李司徒：“听说有个叫紫云的，是哪位？”李司徒指给他看。杜牧注视良久，说：“名不虚传，你应该把她送给我。”李司徒笑得弯下了腰，那些伎女也都笑着回头看他。杜牧又自己饮了三杯，一边站起来，一边高声朗诵一首诗：

华堂今日绮筵开，谁唤分司御史来？

忽发狂言惊满座，两行红粉一时回。

当时杜牧是“意气闲逸，旁若无人”（以上据孟棨《本事诗·高逸第三》）。

其二发生在杜牧游玩吴兴、出任湖州刺史之时。

早年杜牧做宛陵从事期间，听说吴兴有貌若神仙之人，于是辞了官，专门前往观看。吴兴太守久闻杜牧名声，盛情招待。但是，无论是宴席上的官妓，还是太守的自家伎女，都入不了杜牧的法眼。最后在游船中，杜牧看到岸边有个平民妇女带着年幼女儿，当即叫了起来：“那是绝色女子！”马上让人把那母女接到游船中，那母女俩吓得，惶恐不安。杜牧对他们说：“今天不一定随我去，只是希望替我留到以后再来。”于是，赠送一箱绮罗之类好布料，作为聘礼。妇女推辞道：“有不讲道理的人，恐怕这事会给你添麻烦的。”杜牧说：“不会的。我现在就去长安，要求来这里做太守。你等我十年，我十年还没有来，你可以把她嫁给别人。”写了婚约文书之后，杜牧离开了吴兴。不料，杜牧一去十四年，这才得到担任湖州刺史的机会。到湖州没几天，杜牧就命人寻访那母女，得知女子嫁人已经三年，并且生有两个孩子了。杜牧叫来母女，责问道：“当初既然接受了我的聘礼，为什么又食言了？”那母亲拿出文书给杜牧看，接着说：“等了您十年才出嫁的，三年生了两个孩子。”杜牧盯着旧文书看了许久，低头不语，过了好半天，才说：“你说的没错。”于是写了一首《叹花》诗，表达自己内心的失落。诗是这样写的：