崇幀十三年(1640)，知縣徐日隆疊石為城，周長二里許，建承恩、行春兩門并小東門、南門、小南門、西門，遂有城郭。清代設(shè)行春、錦衣、西河、統(tǒng)政4坊。

鶴溪鎮(zhèn)地理位置獨(dú)特，民風(fēng)純樸，畬族文化底蘊(yùn)深厚，是漢初中原大儒浮丘伯的隱居之地、秦始皇煉丹博士盧敖的升仙之所。宋元明清以來，官宦文化名士眾多。

是第二次國內(nèi)革命戰(zhàn)爭的老根據(jù)地；抗戰(zhàn)時期，浙江省府內(nèi)遷教育廳財政廳的駐地，文物繁富。在評選中，該鎮(zhèn)以其悠久歷史、深厚的文化底蘊(yùn)、純樸的民俗風(fēng)情、極具特色的古建筑風(fēng)格和整體保護(hù)的完整性。