臨泉縣以縣北之臨泉水故名。又據(jù)光緒《山西通志》，臨縣以縣城東臨湫水（又名臨川河）為名。  

秦莊襄王二年（前248年），屬太原郡。[1]

漢武帝元朔四年（前125年），置臨水縣，屬西河郡。

王莽時期，臨水縣曾改監(jiān)水縣。

東漢，復名臨水縣。  

東漢永和五年（公元140年）臨水縣并入離石縣，仍屬西河郡。東漢末，西河郡并入太原郡。  

三國初，仍屬太原郡。

魏黃初二年（221年），設置西河郡，仍屬西河郡。

兩晉時轄于離石，為匈奴占領。  

十六國時期，屬離石鎮(zhèn)。

南北朝時期，北周時置烏突郡、烏突縣。  

隋開皇元年（581年），廢郡，改烏突為太和。

大業(yè)三年（607年），改州為郡。臨縣屬離石郡。

唐武德三年（620年），改太和縣為臨泉縣，屬石州。  

宋仍稱臨泉縣、定胡縣，隸屬石州，屬河東路。

元符二年（1099年），改屬晉寧軍。

金天會元年（1123年），復名為臨水縣，廢晉寧軍，屬石州。

蒙古中統(tǒng)二年（1261年），改臨水為臨泉，屬太原郡。  

蒙古中統(tǒng)三年（1262年），臨泉縣升為臨州。  

明洪武二年（1369年），臨州降為縣，屬太原府。臨縣之稱由此而定，至今未變。

萬歷二十三年（1595），臨縣改屬汾州府。  

清因明制，縣屬汾州府，冀寧道。

民國廢除府州，縣直屬山西省轄，境內實行區(qū)所制，劃為東、南、西、北、中5個區(qū)。

民國二十九年（1940年），臨縣解放，成立共產(chǎn)黨領導的抗日民主政府，臨縣劃為10個區(qū)。同年10月，為抗日戰(zhàn)爭所需，將臨縣分為臨縣、臨南兩個縣，臨縣設7個區(qū)，臨南設5個區(qū)。  

民國三十五年（1946年），臨縣，臨南合并，仍稱臨縣。

1949年新中國成立后，屬興縣專署管轄。  

1952年劃歸榆次專署（后改晉中專署）。

1971年組建呂梁地區(qū)，劃歸呂梁地區(qū)。

1984年4—7月，改鄉(xiāng)（鎮(zhèn)）村制。臨縣設10個鎮(zhèn)，28個鄉(xiāng)。  

2002年撤鄉(xiāng)并鎮(zhèn)，全縣設13個鎮(zhèn)，10個鄉(xiāng)。

2004年7月，呂梁撤地設市，仍由呂梁市管轄至今。

2020年2月27日，經(jīng)山西省政府研究同意，臨縣退出貧困縣。[2]