蒙哥即位以后，派弟弟忽必烈主管整個北方地區(qū)的軍事、行政事務，忽必烈因此有機會結識了一批有學問的漢族知識分子。像僧侶劉秉忠、學者張文謙、王鶚、郝經(jīng)、姚樞等，都是忽必烈搜羅來的謀士。在這些謀士的影響下，忽必烈開始傾心于中原地方的政治制度。忽必烈在灤河北岸的龍崗（今內(nèi)蒙古自治區(qū)多倫縣西北）建造了一座新的城市開平，開平后來成了忽必烈的勢力中心。

1258年（南宋理宗寶六年），蒙哥發(fā)動三路大軍進攻南宋。他親自率領主力軍打四川，命忽必烈攻鄂州（今湖北武漢），老將速不臺的兒子兀良合臺從云南包抄過來，打潭州（今湖南長沙）。三路大軍準備在鄂州會師，一起進攻南宋的都城臨安（今浙江杭州）。

蒙哥的大軍攻占了利州（今四川廣元），沿嘉陵江南下，準備進攻重慶。這年年底，蒙古軍到達合州（今重慶合川）。合州在嘉陵江東岸，地勢險要，是重慶北邊的門戶。10多年前，南宋名將孟珙就在合州東邊釣魚山筑城修堡，防御蒙古軍隊。孟珙死后，部將王堅守合州，他調(diào)集十萬軍民擴建了釣魚城，加強了防御能力。第二年春天，蒙古軍隊到達合州城下，雙方展開激烈的攻守戰(zhàn)，蒙古軍隊始終沒能攻破合州和釣魚城。夏天來臨，天氣炎熱，從北方來的蒙古軍隊很不適應這里的氣候，許多蒙古士兵得了痢疾。蒙哥很著急，就親自率領軍隊猛攻合州城，還是攻不下來。前鋒汪德臣選擇了一批精兵，組成敢死隊，趁黑夜爬上城墻，王堅率領宋兵拼命抵抗，再次將蒙古軍擊退。合州城未下，汪德臣病死。不久蒙哥也病死營中，蒙古軍只得退兵。

這時候忽必烈正在向鄂州推進，蒙哥的死訊傳來以后，為了能北上和林（今蒙古國烏蘭巴托西南），他加緊進攻鄂州。此時南宋援軍已到，鄂州一時攻不下來，而幼弟阿里不哥正準備搶先在和林登大汗寶座。忽必烈一籌莫展。這時候，南宋宰相賈似道派人來求和，謀臣郝經(jīng)向忽必烈獻計：一面派遣軍隊去迎接蒙哥的靈車，搶先奪下大汗的寶璽；一面與賈似道議和，簽訂密約，迅速撤軍，派輕騎兵趕到燕京（今北京），防止阿里不哥的勢力南下。忽必烈采納了他的計策，于1260年春天趕到開平，召集支持他的諸王貴族開會，宣布即位。并且按漢人紀元的方法，把當年定為中統(tǒng)元年。元朝有年號，也自忽必烈始。

阿里不哥是拖雷的小兒子。根據(jù)蒙古人“幼子守灶”的習慣，他負責留守蒙古國的都城和林。在阿里不哥周圍的一批蒙古貴族都反對“漢法”，主張用蒙古法來治理國家，他們對忽必烈的漢化政策自然是反對的，擁護阿里不哥繼位大汗也成了他們的理想。蒙哥死訊傳來，阿里不哥立刻采取奪位措施：一方面發(fā)布大赦令，任命他的支持者擔任各級官吏；另一方面派軍隊占領燕京和陜西一帶，擺開陣勢，準備阻止忽必烈北上。誰知忽必烈比他動作更快，出其不意地拿下燕京之后，已經(jīng)在開平即位了，阿里不哥只好匆忙在和林召開大會，宣布自己為大汗。

忽必烈建元

阿里不哥豈是忽必烈的對手，正在和林的“大汗”阿里不哥大赦大封的時候，忽必烈已經(jīng)采取了軍事行動。忽必烈先派畏吾兒人廉希憲到陜西，把阿里不哥的支持者全部清除；自己則親自帶兵打和林。阿里不哥從和林逃走。他怕忽必烈追來，就施出一套緩兵計，派人向忽必烈表示懺悔，并承認忽必烈為大汗，還說：“本當馬上親來朝拜，只因現(xiàn)在馬匹很瘦，等馬匹養(yǎng)肥之后，再同察合臺汗國的阿魯忽王等一起來朝拜?！焙霰亓一卮鹫f：“我相信弟弟說的話，但是希望弟弟不必等待其他諸王，可先到我這兒來會面?！庇谑撬商玫芤矊O哥駐守和林，等待阿里不哥，自己先回開平了。

中統(tǒng)二年（1261）秋天，阿里不哥眼看馬兒已經(jīng)養(yǎng)肥了，假意派人到和林也孫哥那兒投降，也孫哥信以為真，毫無準備。阿里不哥發(fā)動突然襲擊，又把和林奪了回去。忽必烈得到消息，馬上帶兵迎戰(zhàn)，雙方交戰(zhàn)于戈壁沙漠以南，阿里不哥大敗，逃回和林。不料阿魯忽王此時也起兵反對阿里不哥，阿里不哥只得逃往今天的新疆地方。以后阿里不哥多次被打敗，加上蒙古高原上年景不好，發(fā)生了饑荒，支持他的諸王眼看阿里不哥沒有希望了，紛紛向忽必烈投降歸順。走投無路的阿里不哥只得在至元元年（1265）硬著頭皮來向忽必烈請罪，被赦免，但在一個月后就“病死”了。

忽必烈在平定阿里不哥以后，把政治中心從和林移到中原，繼續(xù)推行漢法。至元八年（1271），在進攻南宋取得不斷勝利的形勢下，忽必烈根據(jù)劉秉忠的建議，取《易經(jīng)》上“大哉乾元”之意，將蒙古國改為“大元”。第二年，忽必烈將燕京改名為大都，正式定為全國的首都。