缙云山的土壤以三迭纪须家河组厚层石英砂岩、炭质页岩和泥质砂岩为母质风化而成的酸性黄壤及水稻土。山麓地区为侏罗纪由紫色砂页岩夹层上发育的中性或微石灰性的黄壤化紫色土。

缙云山土壤分为黄壤和水稻土两大类，并有少量零星分布的紫色土。黄壤大类又分为黄壤和黄泥土两亚类，二者各有一属，即冷砂黄壤土属和冷砂黄泥土属，其中冷砂黄壤土属有6个土种，冷砂黄泥土属有4个土种。水稻土大类只有1个亚类，1个土属，3个土种。

缙云山的矿藏以煤为主，并有少量铁矿等。其煤层主要分布在缙云山西北面的蔡家沟、杨泗沟、双河口、黄焰沟及东南面的么店子、水马门、麻林坝一带。据统计，1926～1933年．宝源煤矿公司在缙云山采煤，最高年产量达125085吨。 铁矿主要分布在东北面的火烧山、舵鼓石及公路沿线一带，1958年．曾以此山铁矿炼铁。