汉高祖5年（公元前202年），刘邦攻灭项羽，汉将灌婴乘胜过江，攻破吴县，略定会稽。同年，刘邦封韩信为楚王，会稽等郡属楚王封地。次年刘邦降韩信为淮阴候，分其封地东部会稽等三郡五十二城改建荆国，以其从兄刘贾为荆王，领会稽郡，都吴。11年（公元前196年）英布反汉，杀刘贾，占领荆国封地。次年刘邦平定英布之叛，废荆国仍复为会稽郡。同年封刘濞为吴王，会稽郡遂属吴国封地。文帝前元9年（公元前171年），鄣郡并入会稽郡，郡治一度由吴县移至鄣郡（今浙江安吉县与长兴县之间），7年后复治吴县。景帝3年（公元前154年），刘濞谋叛伏诛，废吴国，复为会稽郡，领县二十四，吴县仍为首邑。
明代 张宏《西山爽气图》局部
元封5年（公元前106年），汉武帝为加强对地方的控制，分全国为十三州部，每州设刺史一人。会稽郡属扬州刺史。此时州尚不属正式行政区域。公元9年，王莽篡汉建新朝，改吴县为泰德县。王莽新朝覆灭后，东汉光武帝于建武元年（公元25年）复改泰德县为吴县。汉顺帝时因会稽郡幅员辽阔，不便管理，遂于永建四年（公元129年）析郡地东北部另置吴郡，西南部仍为会稽郡。新置吴郡领县十三，吴县为首邑，郡治在吴县，而会稽郡治则徙往山阴（今浙江绍兴）。