“衡水”一词始见于北魏文成帝拓跋浚的《文成帝南巡碑》

“衡水”一词始见于北魏文成帝拓跋浚的《文成帝南巡碑》，文成帝曾在信都（今冀州市）“衡水之滨”举行过规模盛大的“禊礼”。“衡水之滨”中的“衡水”，为当时穿越今冀州市境内的漳水后一段的别称，又名“横漳”或“衡漳”。隋朝开皇十六年，由河北大使郎蔚之，分下博（包括桃园、北马庄等原桃县治所周围的土地和村庄）、信都和武邑三县地，新置衡水县，治所在今衡水市旧城村，县之名称，取“漳水横流”之意。因漳水从衡水县西南入境后，不是东流入海，而是折向北流，然后入海，古人亦把这一段漳河水称为“衡水”，此后，衡水县名称历代沿用。

衡水夏之时分属冀、兖二州。

商周时期，有饶、昌、武城、武罗等主要封邑方国。

春秋时期，多归晋国，战国时代为燕、赵之地。

公元前221年，秦始皇统一中国后属钜鹿郡。

汉代，属冀州刺史部，先后设有广川国、信都国和安平国，今辖县市区多为此时建置。

三国时，系魏国冀州域，冀州治自邺始移信都，境内分属安平、博陵、渤海三郡。

晋代，仍为冀州所辖。

隋时，南部属冀州，北部属公元596年所置深州。

唐代，属河北道。

宋初，冀州属河北东路，深州属河北西路。

元初，观州治所移至县城（今景县城），并于公元1265年复称景州。

明、清，先后为中书省、京师、直隶省所辖，境内仍由冀、深、景三州分领。