东汉时，行政区划大体上是州、郡、县三级制。汉灵帝中平五年（公元188 年），为了加强地方官的实力，镇压农民起义，改革地方行政制度，扩大刺史权力，并将刺史更名为州牧，确定州为郡上面的一级地方政权。这就使实行了400 年之久的郡县两级制扩大为州、郡、县三级制。当时甘肃属凉州，治陇（故治即今张家川回族自治县），辖区约当今甘肃大部和宁夏回族自治区的南部。凉州共辖10个郡、2 个属国、99县。10个郡与西汉时的建置相同，即：武都、陇西，金城，汉阳（原为天水郡，东汉明帝永平十七年即公元74年更名）、武威、张掖、酒泉、敦煌、安定、北地等郡，只是辖县有所调整，比西汉时减少了26个。但郡的设置却增加了两个，即张掖属国（今张掖市的东北，长官为属国都尉）、张掖居延属国（在居延海西，故址即今内蒙古自治区额济纳旗，长官为都尉）。属国在政区上相当于郡，为少数民族管理区。另外，省境南部边缘的一小部分地区分属益州。

三国和魏晋南北朝时期

　　三国和魏晋南北朝时期，基本实实行的是州、郡、县三级制。

　　魏、蜀、吴三国鼎立时期，省境共置凉州1 州（另有一部分地方分属雍州和益州）、12郡、77个县。大部分地方属魏国，南部的部分地区属蜀国。属于魏的有凉州（治姑臧，即今武威市）的金城、武威、张掖、酒泉、敦煌郡，雍州（治长安，今陕西省西安市）的陇西、天水、南安（今陇西、武山一带）、广魏（今秦安、通渭等县）、安定郡（今平凉、庆阳和宁夏回族自治区固原等地）的新平郡鹑觚县（今灵台县东北）。属于蜀国益州（治成都，今四川省成都市）的有武都郡、阴平郡的7 个县。西晋，省境设凉州、玖州，兼属雍州，统12个郡、72个县。凉州，治姑臧（今武威市），辖6 个郡、41个县，即金城郡、武威郡、张掖郡、敦煌郡、酒泉郡、西郡（今山丹一带）；玖州，治冀县（故治在今甘谷县东南，后迁至上邶，即今天水），统6 个郡、24个县，即陇西郡、南安郡、天水郡、略阳郡（原广魏郡，晋武帝时更名）、武都郡、阴平郡（今文县和四川省平武县）。属雍州（治长安，今陕西省西安市）的为安定郡，治临泾（今镇原县），统7 个县。

　　进入东晋，社会动乱，北方形成分裂割据局面。从西晋末到十六国时期，跨境或在甘肃境内先后建立的割据政权有：后赵、前秦、后秦，各占有约当今甘肃一部之地；前凉（公元314 －公 元376 年），历时62年，治姑臧（今武威市），辖区东至秦陇，北及居延，南逾河湟，西至葱岭；西秦，都苑川（今榆中县东北），辖区约当今甘肃西南部；后凉（公元386 年－公元403 年），都姑臧，建国18年，初有前凉旧地，后除姑臧外，仅有仓松（今古浪西）、番禾（今永昌西）2 郡；南凉（公元397 年－公元414 年）立国18年，都廉川堡（今青海省乐都县），辖地东至金城，西到青海，北据广武（今永登东南），南有河湟；北凉（公元397 年－公元439 年），历时43年，初都张掖，后迁姑臧，据有武威、张掖、敦煌，酒泉、金城、西海、西平、乐都等郡地；西凉（公元400 年－公元420 年），立国21年，都敦煌，后迁酒泉，辖区约有今酒泉、玉门、安西、敦煌几县地。南北朝时期，甘肃先后为北魏、西魏、北周的统治地区。这一时期，南北对峙，国家分裂，州县林立，政权更替频繁，“百户之邑便立州名，三户之民空张郡目”的情况比比皆是，行政建置十分混乱。