元代的行省制是沿袭自金国的行尚书省。开始它和金国一样，只是一种中央政府派遣在外的临时机构。后来由于战争等各种因素，行省也开始干预地方政务，逐渐变成了最高一级的地方行政区域。元朝初年的行省管辖范围很大，改变也比较频繁。到了中叶，开始稳定下来，将全国分为中书省直辖区、宣政院辖地，以及10个行中书省。省下有路、府、州、县，路归省管。府和州有的归路管，有的归省管，还有的州归府管。县有的归路管，有的归府管，有的归州管。
元代将首都大都及附近的地区称作“腹里（即中心之地），包括河北、山东、山西，以及河南和内蒙古的一部分，由中书省直接管辖，不属于任何行省。此外，元政府设立了宣政院（初为总制院），除掌管全国佛教事宜外，还负责统辖青藏高原地区的军政事务。
在地方设行中书省，行省设丞相一人，掌管全省军政大事。行省下设路、府、州、县。元朝在全国共设10个行省，即岭北、辽阳、河南江北、陕西、四川、甘肃、云南、江浙省、江西、湖广。