玉山县地处怀玉山脉与武夷山余脉的交接地带和浙赣走廊的中部，地势西北、东南高，西南低，西北、东南均向中部逐渐倾斜，形成马鞍型。地形可分为三带：西北中低山地带，东南低山丘陵地带，中部丘陵河谷平原地带。主要山脉有怀玉山脉、武夷山余脉。山区占全县面积的49%，丘陵占41%，平原占10%。县境海拔千米以上山峰有12座。最高点玉京峰位于境内北部三清山，海拔1816.9米；最低点涨畈位于文成镇涨畈村，海拔76米。

境内河道属鄱阳湖水系。是信江的发源地，金沙溪、玉琊溪、沧溪为信江三大源流。境内大小河流9条，河道总长385.3千米，流域面积1728平方千米，河网密度0.22千米/平方千米，径流总量20.26亿立方米。多年排涝量2000立方米/秒，年最大排涝量2417立方米/秒（1998年7月24日）。汇入信江的主要河流有金沙溪、玉琊溪、甘溪、沧溪、冰溪、黄家溪、葛仙溪等7条河流，总长298.6千米，流域面积1647.5平方千米；陇首溪从怀玉山金竹坑由东北向西流经陇首出县境，入德兴市境内乐安河，境内长17.3千米，流域面积37.9平方千米；程溪从和尚山北至东流经紫湖镇川桥、大举、程村出县境，入浙江省开化县境内婺江，境内长11.5千米，流域面积32.6平方千米。

玉山县属中亚热带季风气候，其特点是空气湿润，雨量充沛，无霜期长。累年平均气温17.5℃，1月平均气温5.5℃，极端最低气温零下9.5℃（1991年12月29日）；7月平均气温28.8℃，极端最高气温43.3℃（1953年8月10日）。平均气温年较差0.4℃，最大日较差19.0℃（2009年1月17日）。生长期年平均270天，无霜期年平均257天，最长达306天，最短为216天。年平均日照时数1717.5小时，年总辐射109.96千卡/平方厘米。0℃以上持续320天（一般为2月21日至次年1月15日）。年平均降水量1859.4毫米，年平均降雨日数为161天，最多达195天（1975年），最少为123天（1971年）。极端年最多雨量2769毫米（1975年），极端年最少雨量1204.7毫米（1979年），降雨集中在每年4月至6月，6月最多。主要自然灾害有干旱、洪涝、低温冰冻、大风、冰雹等。最严重的洪涝灾害发生在1998年7月23～24日。

境内已探明地下矿藏24种，包括铁、铜、铌钽、铀、钨、锡、锡铜、钨铅铜等8种金属矿，石灰石、磷、莹石、水晶、玉石、石英、叶腊石、罗纹砚石、硫磺、石墨、铝土、重晶石、煤、膨润土、花岗岩、高岭土等16种非金属矿。其中，石灰石储量33亿吨，居江西省首位；石煤储量32亿吨，居江西省第二位；花岗岩储量30亿立方米。已经开发的有石灰石、花岗岩等矿。石灰石矿主要位于岩瑞镇，矿区面积19.9平方千米，地质储量14379.7万吨，可开采量1.4亿吨，年产量798万吨。花岗岩位于樟村镇、怀玉乡、南山乡，矿区面积43.8平方千米，地质含量约15亿立方米，年产量2万立方米。

境内水域面积43.3平方千米，地表水年均19.6亿立方米，其中水库总库容量4.3亿立方米；水力资源理论蕴藏量9.4万千瓦，已开发利用1.6万千瓦；地下水储量主要靠降雨补给，年补给量2.3亿立方米，占平水年地表水的10%。冰溪、临湖、樟村等地，地下水储量大，水位埋藏深；岩瑞镇鸡头山附近及下镇镇九都地方，属中等富水区，可供开采利用。地下水水质，一般系重碳酸盐型，矿化度0.014～0.2345克/升，多为淡水、软水，以中性水为主，有害成分含量一般未超过国家饮用水标准。水温10～20℃，宜农业灌溉；水垢很少，适合于工业锅炉用水。

县境内土壤计有8个土类14个亚类27个土属63个土种，其分布随地貌类型不同而相应变化。北部怀玉山区，以山地黄壤和黄红壤2个亚类为主；东北部低山区，以黄红壤和山地黄棕壤2个亚类居多；西北部低山区，以乌、灰鳝泥田2个亚类为主；中部平原丘陵区，以水稻土、潮土为主；东南部丘陵区，以红砂泥土、棕红土为主。

全县耕地面积28.2万亩，人均0.5亩，可利用草地面积1.5万亩。是国家保护品种玉山黑猪原种繁殖基地、油茶生产基地；是省级粮食、有机蔬菜重点种植区。农业种植以水稻、油料为主。渔业以养殖草鱼、鲤鱼、鳙鱼、鲶鱼为主，可用于水产养殖淡水面积39平方千米。

全县山场总面积117233.4公顷，占土地总面积67.2%，其中有林地78338.3公顷，森林覆盖率64.8%，活立木蓄积量256.2万立方米，国家重点公益林保存面积58600公顷。有茶园面积2532公顷，果园面积5573公顷。怀玉山、天梁、武安山为国家级森林公园。

境内野生植物资源有野生种子植物175科643属1241种，其中裸子植物7科15属18种，被子植物168科628属1223种。分布在怀玉山、三清山一带的野生珍贵树种有华东黄杉、黄山松、福建柏、长柄双花木、香榧、香果树、丁香、白豆杉、红豆杉、天女花、木莲、黄檀、香椿等。福建柏数量居江西省首位，华东黄杉面积逾66公顷，长柄双花木为国家二级重点保护树种。

境内中草药有根茎类67种，果皮、子仁类117种，全草类68种，花叶类51种，树皮、藤木类39种，菌类59种。野生经济植物有柳叶腊梅、野葛、红山茶等。柳叶腊梅主产于境内海拔800米以上山区，平均年精制以柳叶腊梅绿芽为原料的有机黄金茶20吨；野葛主产于怀玉山、三清山麓；红山茶主产于三清山麓，年产红山茶油40吨。

境内野生动物资源有脊椎动物4类30目82科278种，其中鱼类4目9科29种，占江西省淡水鱼类的17.56%；两栖动物2目7科18种，占江西省两栖动物总种数的39.13%。列入国家二级保护动物的两栖类有黑斑肥螈、东方蝾螈、刘氏髭蟾、沼蛙、阔褶蛙和花臭蛙6种；列入世界濒危野生动物的有虎纹蛙1种。陆栖爬行类2目11科33种，占江西省陆栖爬行类总种数的46.48%；列入世界濒危野生动物的有平胸龟、滑鼠蛇和眼镜蛇等；列入中国特有的陆栖爬行动物有北草蜥、中国石龙子、蓝尾石龙子和钝头蛇等；列入江西省重点保护的野生动物有平胸龟、鳖、王锦蛇、灰鼠蛇、滑鼠蛇、乌梢蛇、银环蛇、眼镜蛇和尖吻蝮等。

境内鸟类16目41科151种，占江西省鸟类总种数的33.78%，其中隼形目10种，鸮形目5种。珍贵品种有游隼、画眉、红嘴相思鸟、白鹭、鸳鸯、蛇雕、小鸦鹃和红头咬鹃等。

境内哺乳类有8目21科47种，占江西省陆栖哺乳类总种数的44.76%，珍贵品种有云豹、穿山甲、水獭、黑熊、小灵猫等。