高要在古代为百越地域之一，秦王朝时属南海郡，西汉元鼎六年（前111年）平定了南越国的叛乱，设置九郡，其中苍梧郡中的一个县因西江羚羊峡（古为高要峡）高而险要取名高要市，一直沿袭到一九九三年九月更名为“高要市”，结束了两千多年的“高要市”建制。
高要在两千多年的历史长河中，行政区划和隶属更迭不断。西汉建县时为苍梧郡所辖。三国时期吴国黄武五年（公元226年）新设广州，苍梧郡从交州划归广州，高要市属广州辖区。东晋永和九年（公元353年），苍梧郡辟出晋康、新宁二郡，高要隶属苍梧不变。元熙二年（公元420）年，从高要市拆出平兴（县城设在今莲塘镇罗勒与波洞之间的“大城头”处）、乐城（县城设在今乐城镇旧城区）二县，高要、平兴隶新宁郡，乐城县隶晋康郡。南朝宋元嘉时期（公元424——453年），高要市改隶属广州南海郡，其后，平兴、乐城二县时撤时复。齐沿宋制，只是到了梁天监六年（公元507年），置高要郡，郡治高要市，同时在高要设广州都督府。陈沿宋制不变。至隋朝开皇九年（公元589年），废除高要郡，建置端州，州治设在高要市，这是高要称端州之始。大业三年（公元607年），改端州为信安郡，郡治仍设于高要。至唐朝武德五年（公元622年），重置端州郡，辖高要、平兴两县（乐城县改隶康州，即今之德庆）。唐贞观元年（公元627年），分全国为十个道，端州隶属岭南道。天宝元年（公元742年），改端州为高要郡，乾元元年（公元758年），又复端州，省去高要郡，之后，经五代历南汉，均沿唐制。
宋、元、明、清时期，高要的行政区划又出现频繁交替。宋开宝五年（972年），即平定南汉刘鋹的第二年，将平兴县划归高要。至道三年（997年），把全国分为十五路，广南路一分为二：广南东路和广南西路，端州（包括高要）隶属广南东路（广东之名自此始）。元符三年（公元1100年10月），宋徽宗赵佶登位，把他在王储时的封地端州划为兴庆军，到了重和元年（公元1118年）冬十月，划兴庆军为肇庆府，驻所不变，仍设在高要，肇庆之名因此而得，沿用至今已有八百八十多年。到元朝泰定元年（公元1324年），改肇庆府为肇庆镇，管治高要市。而到明朝洪武元年行新建制，撤销肇庆镇，恢复肇庆府，府治仍为高要。明世宗嘉靖五年（公元1526年）5月，划高要东境置三水县，隶属广州府。嘉靖四十三年（公元1564年）设两广总督于肇庆（遗址于今肇庆市政府内），至清乾隆十一年（公元1746年）迁往广州，为时183年之久。
辛亥革命成功，中华民国成立（公元1912年），府制撤销，高要初属粤海道，先后隶属西江善后委员公署、西江绥靖委员公署，1936年（民国二十五年），高要市辖于广东省第三行政督察专员公署。日本侵华期间，高要市府曾几次迁址。1938年10月，肇庆专署、高要市政府迁七星岩办公；1944年9月再迁大湾西坑；同年11月转移二区云路村，1945年1月，三迁莲塘荷村，至8月肇庆光复，才迁回原地。
1949年10月18日，中国人民解放军南下野战部队汇同粤中纵队第六支队进入县城肇庆镇，高要获得解放。解放后，高要先后隶属于广东省西江行政督察专员公署、粤中行署、高要专区、江门专区、肇庆专署，肇庆专区、肇庆地区行署。1984年，高要着手建设新县城，1988年5月县城迁至与肇庆隔江相望的南岸镇。1988年3月肇庆地区改为地级市建制，高要随即属肇庆市所辖。1993年9月，高要撤县设市，直属省辖，由肇庆市代管。从此，高要结束了两千多年的县治历史，迈进现代发展的新阶段。
> 