吴县志云：昔（春秋时）有吴妃姐妹三人，各居一峰，殊有灵异。山人立祠祀之。从汉朝建乡制后，历为浙江省湖州府乌程县管辖，称洞庭乡。晋称三山为蓬莱，晋王嘉撰《拾遗记》：“海中有三山，其形如壶。”明文渊阁大学士王熬撰《壑舟园记》云：“天会登斯阁也，如睹海上三山，灵奇满目，又如长房缩地，身入壶中而不自知其已仙也。”清朝《依绿园记》，徐乾学《记》、《道书》所称“洞天福地”也。

    三山岛根据现有史料记载：清朝康熙年间，三山总有615户3012口，不包括厥泽两山。经过咸丰十年（公元1860年）的洗劫和解放前的兵荒马乱至建国初期，三山包括厥泽两山在内仅存152户，530余口，四十年来安定生息，至今已有275户，889口。

     三山岛的全盛期：应分为：唐朝咸通年间；明朝嘉靖天启年间；清朝乾隆、嘉庆年间和建国后的十一届三中全会之后。衰败期：应分为：北宋微宗垂意，朱面取浙中花石，号“花石纲”年间；清朝咸丰及慈禧建颐和园的采石和建国后的“大跃进”及“十年浩劫”。屡毁所有古树名木,古刹名寺,并采石毁山。

    昔日三山:环山翠竹,古木万千,群鸟鸣翔,獐奔鱼跃,仙宫梵宇,鳞次栉比,瑶台琼阁,星罗棋布的入胜景象举目皆是,观瞻目前保存得相当完好的一部份明、清建筑，还可以让人们追忆一番三、五百年来历史风云的踪影。