但是晚清政坛想要洁身自好确实很难。陈夔龙能做到一品大员，除了和奕劻的关系外，自然也有其能力。他在京兆尹任内，在庚子议和中都有出色的表现。陈夔龙还善诗、工书法。陈一生计有《松寿堂诗抄》《花近楼诗存》《鸣原集》《吴楚连江诗存》《五十三参楼吟草》《丙子北游吟草》《江皖道中杂吟》《把芬庐存稿》《梦蕉亭杂记》《游庐纪程杂记》等著作。陈夔龙的书法严谨精湛。其日日习书以为修身之道，故至九十高龄，尚能书工整的楷书，民国年间的《近代名人书林》收有陈夔龙的书法作品。亦有作品收入《民国时期书法》。
另外，陈夔龙对贵州素有感情，不忘贵州的养育之恩。由于贵州地处偏远，交通闭塞，因而经济文化长期落后，不少出生在贵州的文人和官吏，不愿承认自己是贵州人。例如与陈夔龙同时做官的张之洞本出生于贵阳，但却时时标榜自己的祖籍是南皮，不喜欢别人说他是贵州人。陈夔龙祖籍江西抚州，其父陈忻煜任过贵州青溪、龙里、普安县令。
他出生于贵阳铁局巷，占籍贵阳。他发迹后，有人劝他改籍，他回答说：“今日博取功名，确由黔发迹。黔不负余，余亦不可负黔。”他平时喜欢保存贵州乡邦文献资料，并以自身的财力和声望，收集和印行贵州地方文献，宣传贵州，介绍贵州，扭转世人对贵州的偏见。如明末贵阳人杨龙友的诗集《山水移》和《洵美堂诗集》早就散佚了。清代学者在编撰《黔诗纪略》时，只能从一些间接资料转抄他的作品。陈夔龙四处搜寻，终于找到这两部珍籍的明刊本。其中《洵美堂诗集》还是海内孤本，陈慨然出资，刻板印行，为后人研究杨龙友及其作品提供了可靠的资料。陈夔龙也捐资重刊了清代著名学者及文学家郑珍的诗文集。
