清以前，县域农村设10乡24里，城区设6街12坊；另将全县划分为40个都。民国21年（1932），全县设6个区，198个乡。二十四年（1935），全县设40个联保，426个保，4412个甲。二十六年（1937），全县设22个乡。三十一年（1942），全县划为5个区，1个镇，13个乡185个保，1867个甲。三十二年（1943），全县划分1个指导区和怀玉、屏峰、大叶3个行政区，下辖30个乡、1个镇，319个保，3259个甲。三十三年（1944），全县设3个指导区，下辖30个乡（镇）。三十四年（1945），全县设1镇20乡。三十五年（1945），设1镇21乡。三十六年（1947），设6个区。

1949年5月，玉山解放后，全县设9个区，农村8个区辖21个乡294个保2966个甲；城关区辖8个街道。1950年，废保甲，设行政村，城关区辖8个街道，农村8个区辖100个乡295个行政村。1951年，县城设1个镇（冰溪镇），辖8个街道25个村；农村设10个区，辖113个乡295个行政村。1952年5月，浙江省江山县官溪乡的内村、外村、后山、中店4个行政村37个自然村和南坞乡的大桑园、周家墩、黄坳3个行政村28个自然村，合计1800户，划归玉山县管辖。1953年，全县设12个区，下辖1个镇115个乡。1956年，全县农村设2个区，60个乡；县城设镇，辖7个街道。1959年，全县设22个公社，5个场（圃），1个农业技术推广所。1962年，重新设区，区下辖公社。1964年撤区，全县设城镇、临湖、妼姆、下塘、横街、三湖、六都、华村、群力、八都、官溪、下镇、岩瑞、四股桥、双明、紫湖、南冲、童坊、樟村等20个公社和怀玉山、种猪、桑果牧、白云寺种兔、十七都良种、十里山棉种等6个场，以及森林苗圃、七一水库、王宅水库，共计341个大队，3744个生产队。1966年，八都、南冲人民公社改为国营采育林场；良种、桑果、种猪场合并为国营玉山县农场，白云寺种兔场划归古城人民公社管辖。1968年，全县区划调整为城镇、三红（原六都、华村、群力）、八一（原八都、官溪）、下镇、红旗（原古城、岩瑞）、东风（原双明、四股桥）、紫湖、南山、樟村（含童坊）、跃进（原临湖）、新建（原妼姆、下塘）、卫东（原横街）、三忠（原三湖）等13个公社、3个场、2个水库管理局。1973年，全县设15个公社、3个场、2个水库管理局、1个农科所。1975年，恢复下塘、童坊、华村、群力公社。1981年，从城镇公社和县良种场、桑果场划出小徐、县后山、莲塘、许家、周溪、白石、东津、关山桥、田畈、包溪等10大队，建立林岗公社；改城镇公社为城关镇（次年改称冰溪镇）；从七一水库管理局和紫湖、双明公社划出棠梨山、石城、张源、陶家山、罗家、东坑、西坑、茗坞等8个大队，建立少华公社。1982年，全县共设公社、场、库、所30个。是年，从怀玉山垦殖场划出游击分场，建立游击综合垦殖场；将桑果牧场和白云寺垦殖场合并建立大垄垦殖场。1983年，改公社为乡，全县设1镇23乡，原怀玉山场的广平大队划入樟村乡。1984年8月，古城乡更名为白云乡，三湖乡更名为文成乡，八都乡更名为仙岩乡。1992年7月，撤销仙岩乡、下镇乡、岩瑞乡、白云乡、临湖乡、双明乡、樟村乡、横街乡，设立仙岩镇、下镇镇、岩瑞镇、白云镇、临湖镇、双明镇、樟村镇、横街镇。1994年3月，撤销文成乡、紫湖乡，设立文成镇、紫湖镇。1996年3月，撤销妼姆乡，设立妼姆镇；三清乡划归三清山风景名胜区管委会管辖。1996年12月，将林岗乡的县后山、许家、莲塘、小徐、下徐等5个行政村和东津桥村的西津村民小组，文成镇的文成、金交、后垄三个行政村，六都乡的殿口行政村成建制划归冰溪镇管辖。1997年3月，妼姆镇更名为必姆镇。2001年11月，撤销群力乡，划入六都乡；撤销官溪乡，划入仙岩镇；撤销林岗乡，划入岩瑞镇；撤销少华乡，划入双明镇；撤销童坊乡、怀玉山乡，设立怀玉乡；撤销良种场、大垄垦殖场，划入岩瑞镇。2006年1月，撤销华村乡，划入六都乡；撤销白云镇，划入岩瑞镇。2006年9月，紫湖镇的八仙洞、双溪口，南山乡的枫林、中村、柴门、中关以及怀玉山乡的三亩等7个行政村，成建制划归三清山风景名胜区管委会管辖。2018年6月，撤销冰溪镇，设立冰溪街道办事处，将横街镇洋岩、王村畈2个行政村划入冰溪街道办事处管辖；撤销文成镇，设立文成街道办事处，将横街镇仑溪、六村2个行政村划入文成街道办事处管辖。2018年9月，撤销枫林办事处，设立枫林镇。

至2024年，全县国土面积1732平方公里，总人口64万，全县辖冰溪、文成2个街道和岩瑞、下镇、临湖、横街、必姆、樟村、仙岩、双明、紫湖、枫林镇等10个镇以及六都、四股桥、南山、下塘、怀玉、三清等6个乡，共18个乡级政区和七一水库、王宅水库2个管理局，其中枫林镇、三清乡、紫湖镇的双溪口村和八仙洞村由三清山风景名胜区管委会代管。下辖48个社区、195个村。