卫辉市原名汲县，自古为豫北重镇，建县至今已二千多年，汲县因水而得名。
春秋时，今市区西南曲里村有一泉水流出，形成一条小河，沿河居民盛行汲水灌溉，故名该河汲水。汲水流经的第一个村落（今汲城村），即称汲。
战国时期称汲邑，西汉高祖二年（公元前205年）建汲县，县治即设汲邑。东汉时，汲水湮没。东汉顺帝年间，县令崔瑗筑县城于汲城村。 战国时汲县属魏，秦末至汉属河内郡，郡治汲县。
北周武帝宣政元年（578年）该汲县为伍城县，属卫洲，县治迁陈城（即今城区。因周武王伐纣时列阵于此，陈通阵，史称陈城）。
隋文帝开皇六年（586年）复改名汲县，汤帝大业三年（607年）属汲郡。
唐高祖武德元年（618年）属义州，州治汲县。武德四年改卫州，贞观元年卫州治所迁汲。
五代属卫州，州治汲县。
宋属卫州，州治除短时期曾迁共城、胙城外，均在汲县。
金属卫州河平军。
元合卫州、辉州设卫辉路，汲县属之；汲县属之。
明、清属卫辉府。路、府治所均在汲县。民国初属河南省豫北道（后改为河北道），道治汲县。
1927年（民国16年）废道，汲县直属河南省政府。1933年后，汲县先后属河南省第三、第十三行政督察区。
1948年11月7日汲县解放，分设卫辉市撤消和汲县，同属太行第五专员公署。
1949年2月1日卫辉市撤消并入汲县，属太行第四专员公署，5月改属太行行政公署新乡专员公署，8月属平原省新乡专员公署。
1952年11月平原省撤销，归属河南省新乡专员公署。
1983年改属新乡市。1988年10月撤销汲县，设立卫辉市（县级），仍属新乡市辖，为省计划单列市。卫辉市是因历史原因而得名。
