北魏初立，吕梁为太原郡境域

北魏初立，吕梁为太原郡境域，设置有大陵、平陶、兹氏等县。天兴初增设离石镇，延和三年（公元434年）设吐京镇，太平真君九年（公元448年），吐京镇下设岭东、岭西二县，平陶县讳拓拔焘改平遥县，后移出区境，大陵县改受阳。太和八年（公元484年）复置西河郡，太和十年（公元486年）吐京镇改吐京郡，同年，废蒲子县，设汾州，吐京、西河等五郡为其辖郡。太和十七年（公元493年）设永安县，太和二十一年（公元497年）岭东县改新城，岭西县改吐京。

东魏，吕梁仍为汾州和太原郡境域，汾州辖西河、吐京等郡，隰城、永安二县属西河郡；吐京、新城二县属吐京郡；受阳县仍属太原郡，离石境域仍设离石镇。

北齐、北周之际，吕梁当两政权纷争之地，北齐斛律金所筑长城的起点——金锁关即在区内黄芦岭上，今遗址尚存。当时吕梁境内设有西汾州怀政郡、南朔州西河郡、吐京郡神武郡和并州太原都。南朔州系由汾州改称，治所仍设隰城，西河郡隶属之。离石镇改怀政郡，辖县有昌化、良泉等县，蔚汾县属神武郡，受阳县属太原郡，吐京、新城二县属吐京郡，后因裁郡改属怀政郡。北周建德年间，西汾州改称石州；大象年间，南朔州改称介州；并增设定胡、窟胡、乌突三县及同名郡。

隋，吕梁分属于离石郡、西河郡、太原郡、楼烦郡、龙泉郡。离石、修化（窟胡县改）、太和（乌突县改）、平夷、定胡（治所在今柳林孟门）、宁乡等县属离石郡，西河郡辖县有隰城、永安二县，受阳县仍属太原郡，岚城县属楼烦郡，石楼县属龙泉郡。