中國早期文明中的堯和舜，活動的地域范圍都和今天的山西南部一帶有關(guān)聯(lián)。在山西省臨汾市發(fā)掘的陶寺遺址，一些學(xué)者認(rèn)為就是帝堯的都城所在地，而今天的臨汾市區(qū)，最重要的也是唯一的市轄區(qū)就叫“堯都區(qū)”。傳說帝舜曾在歷山耕田，歷山就在今天的山西省晉城市境內(nèi)。這樣看來，早在四千多年前，山西就曾是中華文明的中心地區(qū)之一。

春秋時期，周天子勢力衰微，中國歷史進(jìn)入了諸侯爭霸時期。主要領(lǐng)土范圍在今天山西省的晉國，是春秋時期最重要的霸主。晉文公是春秋時期繼齊桓公之后的第二位霸主，晉文公之后，在經(jīng)歷了楚國的短暫稱霸之后，晉國繼續(xù)稱霸中原很長時間。整個春秋時期，因為晉國的存在，秦國東擴(kuò)的企圖始終未能得逞，楚國也始終未能對中原形成絕對優(yōu)勢?？梢哉f，春秋時期，晉國是最為強(qiáng)大的霸主。

漢代時期，山西南部屬于河?xùn)|郡，作為號稱“天下之中”的“三河”之一，人口稠密，經(jīng)濟(jì)文化繁榮，戰(zhàn)略地位十分重要。魏晉南北朝時期，山西成為北方少數(shù)民族勢力南下的前沿之地，經(jīng)歷了數(shù)百年的大混戰(zhàn)，大大小小的割據(jù)政權(quán)走馬燈似的換了一撥又一撥，山西的人口和經(jīng)濟(jì)遭受到極大的破壞。

明朝初期，山西由于相對閉塞的地形，在元末戰(zhàn)爭中保持了相對的穩(wěn)定，再次成為一個人口稠密、經(jīng)濟(jì)繁榮的地區(qū)。明朝統(tǒng)一之后，山西因為人口稠密，開始大規(guī)模向外省移民，這樣的移民規(guī)模相當(dāng)大，對后世的影響也極大，產(chǎn)生了“大槐樹”的傳說。而從明朝開始，“晉商”作為中國歷史上最著名的商人群體之一，開始發(fā)展壯大，對明清中國商業(yè)史產(chǎn)生了重要影響。