伯虎的中年时代，是十足的在放荡生活中过去，他所以如此，第一或者是出之天性，所以“明书”列传中称他：“寅才高，少嗜声色”。其次是受了连累的刺激，后来，那当然为了逃避宁王之聘而使酒狂浪的。这里，我们可提出证据，虽然不如傅奇小说中把他描写得那样的风流狂放，然而也可以想像伯虎当时的生活情形了。

“吴县志”张灵列傅可以作为“纵酒不事诸生业”的写照：

“寅尝邀游虎丘，会数贾饮于可中亭，且赋诗，灵更衣为丐者，贾与之食，啖之且谈诗词，辨云涌，贾始骇，令赓诗，挥毫不已，凡百绝，抵舟易维，系箩阴下，贾使人迹之，不得，以为神仙也”。

“吴县志”唐寅列传中，记载他连累坐废的事云：

“未几，敏政总裁会试，江阴富人徐经贿其家僮得试题，事露，言者劾敏政，语连寅，下诏狱，谪为吏，寅耻不就，益放浪形迹，远游祝融、匡庐、天台、武夷，观海东南，浮洞庭，彭蠡，归益穷研造化，寻究津历，求扬元、马虚、邵氏声音之理，而赞订之，旁及风鸟壬遁太乙，出入天人间”。

按此事为弘治十二年，伯虎与徐经同舟赴京应试，所谓“言者”，即其少时莫逆交都元敬也。故“吴县志”都穆列传有：“寅锁院得祸，穆实发其事，寅誓不与相见，而吴中诸公皆薄之，穆晚年亦深自悔恨云”。

当宁王谋叛之前，曾慕吴中文士如文征明及唐伯虎名，使厚币聘之，均未成事实，“明书”唐伯虎列传中记云：

“宁王宸濠厚币聘之，寅察其有异志，佯狂使酒，露其丑秽，宸濠不能堪，放还，筑室桃花坞，与客日般饮其中”。

按宁王宸濠反于正德十四年，王守仁等举兵讨平之，后五年，即嘉靖二年，时唐伯虎卒，伯虎之筑室桃花坞，当在宁王谋叛前后之十年间事也。

伯虎晚年的生活，便在诗酒书画佛乘中间过去，他所筑的第宅，是在苏城西北的桃花坞。按“吴县志”云：“唐解元寅宅，在桃花坞后，仅存六如古阁，又有桃花庵，改为准提庵”。又云：“康熙中，巡抚宋荦重加修葺，乾隆中，邑令唐仲冕复拓庵东隙地为别室，并祀唐祝文三先生，署曰：桃花仙馆”。