作為互聯(lián)網(wǎng)OTA領(lǐng)頭羊，攜程在近20年的發(fā)展歷程中，在業(yè)務(wù)形態(tài)和互聯(lián)網(wǎng)行業(yè)整體發(fā)展驅(qū)動(dòng)下，經(jīng)歷了三輪技術(shù)體系的演進(jìn)。本文將詳述這一技術(shù)演進(jìn)歷程，希望能給互聯(lián)網(wǎng)企業(yè)，尤其是早期的互聯(lián)網(wǎng)企業(yè)一些借鑒和啟發(fā)，幫助大家少走一些彎路。

一、攜程當(dāng)前的技術(shù)體系

最新的財(cái)報(bào)顯示攜程的GMV將近7000億，已經(jīng)是全球排名第一的在線OTA。支持如此大業(yè)務(wù)量背后的技術(shù)體系，規(guī)模也是巨大的。

攜程目前有將近4000研發(fā)人員，周發(fā)布數(shù)8000+，應(yīng)用數(shù)10000+，主機(jī)實(shí)例數(shù)80000+。

有多個(gè)數(shù)據(jù)中心，遍布中國(guó)大陸，香港，歐洲，美國(guó)等。而且在核心數(shù)據(jù)中心之間，實(shí)現(xiàn)了高可用和災(zāi)備計(jì)劃，網(wǎng)站可用性達(dá)到4個(gè)9。

上面這張圖是攜程技術(shù)體系組成，畫的還是比較簡(jiǎn)單的，遠(yuǎn)不能反映目前攜程體系架構(gòu)的復(fù)雜性。

主要包括三大塊：

第一塊系統(tǒng)架構(gòu)，由無線大前端平臺(tái)、分布式框架與中間件、分布式大數(shù)據(jù)存儲(chǔ)構(gòu)成。

第二塊，建立在基礎(chǔ)框架上面的，是非常復(fù)雜的業(yè)務(wù)系統(tǒng)，攜程酒店、度假、機(jī)票等業(yè)務(wù)的訂單和商品中心產(chǎn)品數(shù)據(jù)等等，都是根植于這個(gè)系統(tǒng)當(dāng)中。

第三塊，賦能系統(tǒng)。比如大數(shù)據(jù)與人工智能平臺(tái)，會(huì)把海量的大數(shù)據(jù)收集起來，做深入的數(shù)據(jù)挖掘和推薦。運(yùn)維部署保障中心，把整個(gè)服務(wù)器的資源統(tǒng)一管起來，通過強(qiáng)大的監(jiān)控中心和運(yùn)維體系保障系統(tǒng)正常運(yùn)行。

二、攜程技術(shù)演進(jìn)路線

攜程技術(shù)演進(jìn)路線，可以大致分成三個(gè)階段：

• 呼叫中心時(shí)代，主要是以線下業(yè)務(wù)驅(qū)動(dòng)為主；

• 互聯(lián)網(wǎng)+移動(dòng)互聯(lián)網(wǎng)時(shí)代，產(chǎn)品技術(shù)驅(qū)動(dòng)為主；

• 數(shù)字化+AI時(shí)代，大數(shù)據(jù)驅(qū)動(dòng)為主。

三個(gè)階段是很漫長(zhǎng)的，也經(jīng)歷了非常復(fù)雜的演變過程?？傮w而言，技術(shù)演進(jìn)取決于業(yè)務(wù)形態(tài)和互聯(lián)網(wǎng)行業(yè)的發(fā)展變化。

在這里提一下攜程的業(yè)務(wù)特點(diǎn)，攜程算是O2O企業(yè)的鼻祖，具有和其他O2O一樣的特點(diǎn)，比如線下重，線上輕；對(duì)資源重度依賴；線下流程復(fù)雜，像我們常說的三流企業(yè)（信息流、物流、資金流）；屬于典型的ERP形態(tài)。所不同的是攜程是Offline To Online遞進(jìn)，跟現(xiàn)在通常所說的O2O遞進(jìn)順序是相反的，但是殊途同歸，大家的最終業(yè)務(wù)形態(tài)是類似的。

2.1.1 業(yè)務(wù)場(chǎng)景

呼叫中心時(shí)代，是很多老攜程人經(jīng)常會(huì)懷念的時(shí)代。攜程最早的客戶業(yè)務(wù)是從發(fā)卡開始的，那個(gè)時(shí)候，在火車站、汽車站、機(jī)場(chǎng)，我們的業(yè)務(wù)人員拿著攜程的會(huì)員卡去發(fā)放。

會(huì)員卡上有兩個(gè)關(guān)鍵數(shù)字，一個(gè)是卡號(hào)，一個(gè)是攜程呼叫中心的電話號(hào)碼?？腿讼氤霾钣喚频辏恍枰驍y程呼叫中心電話，報(bào)卡號(hào)，用戶關(guān)系就建立起來了。

所以那時(shí)候的流量入口是電話。

這個(gè)業(yè)務(wù)場(chǎng)景也決定了攜程和一般互聯(lián)網(wǎng)企業(yè)有些不太一樣的地方。因?yàn)榱髁咳肟谑请娫挘瑪y程是通過坐席人員代替用戶來操作，因此對(duì)坐席的操作規(guī)范和服務(wù)流程，要求是非常嚴(yán)格的。但因?yàn)橛脩舨恢苯咏佑|系統(tǒng)，所以用戶體驗(yàn)是很弱的。

2.1.2 技術(shù)體系

這個(gè)時(shí)期的技術(shù)體系，具備初創(chuàng)企業(yè)典型特點(diǎn)。

首先是架構(gòu)比較單一，主要的商業(yè)邏輯寫在數(shù)據(jù)庫層面。當(dāng)時(shí)我們主要采用微軟Windows平臺(tái)，ASP+SQLServer這樣的一個(gè)體系架構(gòu)。跟很多互聯(lián)網(wǎng)公司，剛起步的時(shí)候，所采用的LAMP體系架構(gòu)都是類似的，都是通過腳本語言加上數(shù)據(jù)庫，快速搭建一個(gè)系統(tǒng)去做。這類體系架構(gòu)的缺點(diǎn)是高耦合，擴(kuò)展性不好，優(yōu)點(diǎn)就是開發(fā)和發(fā)布快。

那個(gè)時(shí)候建立新的產(chǎn)品和業(yè)務(wù)，都是以C2P（Copy To Paster）模式為主。如果想快速開展新業(yè)務(wù)，最簡(jiǎn)單的辦法是拷貝粘貼，把原來的代碼直接拷過來進(jìn)行修改。例如攜程酒店是我們的第一個(gè)業(yè)務(wù)，機(jī)票是第二個(gè)，我們就直接把酒店代碼拷貝過來，然后再在上面去改。

總結(jié)下來就是： 快速迭代、快速開發(fā)、快速發(fā)布，非常契合業(yè)務(wù)的高速發(fā)展需要，但是耦合高，擴(kuò)展性差，體系結(jié)構(gòu)沒有經(jīng)過優(yōu)化，也為后面挖了不少坑。

2.2.1 業(yè)務(wù)場(chǎng)景

1999年差不多到2005、2006年，攜程都是以呼叫中心模式去做的。

2006年開始，伴隨著早期電商網(wǎng)站的起步，很多用戶的行為習(xí)慣已經(jīng)逐步轉(zhuǎn)向互聯(lián)網(wǎng)了，他們更習(xí)慣在網(wǎng)上買商品。因此伴隨著用戶行為的改變，這時(shí)候攜程的流量入口也從電話轉(zhuǎn)向到Online，再到后來的移動(dòng)端APP。

2.2.2 技術(shù)體系

這個(gè)階段的技術(shù)體系，跟大型互聯(lián)網(wǎng)公司類似，以支持大流量并發(fā)訪問和穩(wěn)定性，擴(kuò)展性為主，各個(gè)應(yīng)用都是分層的。

分層有多個(gè)優(yōu)勢(shì)，第一通過分層把每一層的業(yè)務(wù)進(jìn)行隔離和透明化，更多地進(jìn)行解耦，也能很方便的部署。這樣當(dāng)有大流量的時(shí)候，可以很快擴(kuò)充，把流量分擔(dān)，做負(fù)載均衡。

第二，能做高可用。每一層應(yīng)用都部署在多個(gè)服務(wù)集群上，當(dāng)其中一個(gè)集群掛了，另一個(gè)集群可以很快頂上來。 

另外一個(gè)就是可以通過服務(wù)化進(jìn)行子系統(tǒng)之間的解耦。我們把所有以前的兩層架構(gòu)變成三層架構(gòu)，三層架構(gòu)變成四層架構(gòu)。同時(shí)由于拆分了不同的子系統(tǒng)，子系統(tǒng)之間的相互調(diào)用通過SOA基于服務(wù)的方式去做。

這樣能夠非常快速的搭建基于核心服務(wù)體系之外的業(yè)務(wù)系統(tǒng)，給各個(gè)前端去使用，包括Online、手機(jī)、Offline，統(tǒng)一的接口，統(tǒng)一的規(guī)范。那個(gè)時(shí)候提出的口號(hào)是：open API everywhere.

它帶來的好處，就是現(xiàn)在大型互聯(lián)網(wǎng)站所必須具備的，我們稱之為的“3+1”模式，高并發(fā)+高性能+高可用，再加一個(gè)高擴(kuò)展。

2.2.3 轉(zhuǎn)型痛點(diǎn)

在這個(gè)階段，可以說是攜程整個(gè)技術(shù)體系轉(zhuǎn)型最大，也是最痛的階段。這里列出的一些痛點(diǎn)，現(xiàn)在看可能不算什么，但在當(dāng)時(shí)還是比較困擾我們的。

例如：

1）業(yè)務(wù)快速發(fā)展跟不上

我們?cè)缙诘目截愷べN的模式，在快速應(yīng)對(duì)業(yè)務(wù)發(fā)展的前期起了非常好的作用。但是后來，隨著業(yè)務(wù)快速發(fā)展和流量倍增，這種模式就不適合了。之前的技術(shù)體系本身就是兩層架構(gòu)，應(yīng)用只能部署在單臺(tái)服務(wù)器上，高并發(fā)能力有限。擴(kuò)展性很差，不能進(jìn)行大型應(yīng)用之間的分層和部署，也就無法支持應(yīng)用隔離和應(yīng)用多集群部署。

痛點(diǎn)在于，前期越快，到后期必然會(huì)越來越慢，而應(yīng)用架構(gòu)和物理架構(gòu)必須要重構(gòu)，花費(fèi)成本很高；

2）子系統(tǒng)的拆分邊界不清

和很多互聯(lián)網(wǎng)公司在進(jìn)行技術(shù)改造的時(shí)候一樣，攜程早期拷貝粘貼了很多個(gè)垂直的像煙囪式的獨(dú)立系統(tǒng)，這些獨(dú)立系統(tǒng)中有很多重復(fù)的部分。

以支付為例，我們當(dāng)時(shí)是把支付收集信息放到系統(tǒng)當(dāng)中，酒店放到酒店集群，機(jī)票放到機(jī)票集群，支付完成之后，再把信息收集到一個(gè)數(shù)據(jù)庫中。

這種情況下，如果銀行需要改一個(gè)信用卡授權(quán)碼，每個(gè)系統(tǒng)都需要重新做一遍，新的功能上線協(xié)調(diào)、溝通成本很高。系統(tǒng)的邊界不清，你中有我，我中有你。

后來我們做了一個(gè)SOA子系統(tǒng)拆分的項(xiàng)目，重新梳理業(yè)務(wù)流程，把一些重復(fù)的子系統(tǒng)拆分出來。其實(shí)不論酒店還是機(jī)票、度假業(yè)務(wù)，有些流程是類似的，比如預(yù)訂，都是先查詢，然后下單、支付、發(fā)消息通知。

重復(fù)的子系統(tǒng)拆分出來之后，就變成了后來的攜程公用系統(tǒng)，比如支付平臺(tái)、消息平臺(tái)、物流配送平臺(tái)等等。這個(gè)項(xiàng)目整整進(jìn)行了兩年時(shí)間，為攜程平臺(tái)的轉(zhuǎn)型打下了堅(jiān)實(shí)的基礎(chǔ)。

3）流程拆分復(fù)雜

過程非常復(fù)雜，牽扯到流程改變，流程重新劃分，系統(tǒng)再改造的過程。這塊不做過多闡述，總結(jié)下來就是：是公司的業(yè)務(wù)復(fù)雜度，決定了流程復(fù)雜度，從而決定了系統(tǒng)復(fù)雜度，一環(huán)一環(huán)傳遞下來的。因此系統(tǒng)的改造必須先從優(yōu)化業(yè)務(wù)流程入手，而不是相反。

4）分層體系架構(gòu)的復(fù)雜

不同的系統(tǒng)拆分之后，你會(huì)發(fā)現(xiàn)，原來很簡(jiǎn)單的事情，變得很復(fù)雜。

還是以支付舉例，如果在一個(gè)系統(tǒng)里，下單、支付，支付成功之后，返回一個(gè)訂單狀態(tài)——交易完成。如果不成功，事務(wù)回滾。當(dāng)訂單和支付都在一個(gè)系統(tǒng)中時(shí)，我們只要寫在中間件模塊里，用微軟的transaction server機(jī)制， 把代碼嵌進(jìn)去，成功了就commit，失敗了就rollback，結(jié)束了。

但當(dāng)拆成不同的子系統(tǒng)之后，支付平臺(tái)和訂單下單流程不在一個(gè)系統(tǒng)中，甚至不在一個(gè)物理服務(wù)集群中，如何去保證事務(wù)提交的完整性？這時(shí)只能通過類似狀態(tài)機(jī)回調(diào)和消息隊(duì)列的方式進(jìn)行解耦，來保證最終狀態(tài)的一致性，復(fù)雜度大大增加。

再比如緩存，本來在一個(gè)體系當(dāng)中，每臺(tái)服務(wù)器中，緩存數(shù)據(jù)都是獨(dú)立和一致的。當(dāng)分成不同集群之后，如何保證每臺(tái)服務(wù)器中的緩存數(shù)據(jù)的一致性？

當(dāng)然隨著技術(shù)的發(fā)展，后面有很多系統(tǒng)，像Redis這種中間緩存數(shù)據(jù)中間件，就可以通過hashcode算法，較好的解決了分布式緩存的問題。但在當(dāng)時(shí)，這也是個(gè)難題。

2.3.1 業(yè)務(wù)場(chǎng)景

這個(gè)階段，則是依托海量用戶和海量數(shù)據(jù)，發(fā)展平臺(tái)個(gè)性化和數(shù)字化，以及通過AI賦能。 在我看來，所有的電商平臺(tái)系統(tǒng)，最終都會(huì)演變?yōu)檫@種形式。

2.3.2 技術(shù)體系

攜程在這個(gè)階段，技術(shù)體系主要是“ABC戰(zhàn)略”。由下至上依次是：

C——Cloud（云），計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)云化；

B——Bigdata（大數(shù)據(jù)），在云上做整個(gè)集團(tuán)數(shù)據(jù)集成、共享、交換、打通；

A——AI（人工智能），在B之上，做個(gè)性化、數(shù)字化和人工智能；

目前攜程AI賦能主要體現(xiàn)在兩塊：

第一塊是營(yíng)收增長(zhǎng)方面，做精準(zhǔn)化的營(yíng)銷，個(gè)性化推薦，提升轉(zhuǎn)化率。

最近剛看到一個(gè)消息，就是淘寶宣布雙11期間，通過點(diǎn)擊淘寶個(gè)性化推薦商品頁面進(jìn)來的用戶所成交的訂單數(shù)，已經(jīng)超過主動(dòng)搜索進(jìn)來的用戶。這里面節(jié)省的用戶費(fèi)力度成本，訂單轉(zhuǎn)化率成本，都是很可觀的。由此也更進(jìn)一步證明了，基于海量數(shù)據(jù)發(fā)展出的個(gè)性化、數(shù)字化特性對(duì)電商平臺(tái)的重要性。

這將是電商以后發(fā)展的一個(gè)大方向，其實(shí)像今日頭條、抖音等內(nèi)容信息類平臺(tái)，就是通過大數(shù)據(jù)的個(gè)性化驅(qū)動(dòng)和分發(fā)的方式，大大提升了用戶黏性，從而后發(fā)先至，將對(duì)手遠(yuǎn)遠(yuǎn)拋在身后的。

第二塊則是通過人工智能做客服機(jī)器人和AI數(shù)據(jù)挖掘。

攜程有一個(gè)很大的呼叫中心，座席一萬多人，為我們的客人提供服務(wù)。而通過客服機(jī)器人，可以部分代替座席，降低成本，提高效率，并加快服務(wù)響應(yīng)，這是攜程可以深挖的地方。

過程中也遇到了很多問題，比如語音識(shí)別的準(zhǔn)確性，可能還不能很好的支持進(jìn)行多輪的人機(jī)對(duì)話。如果我們語音識(shí)別率每次可以達(dá)到90%的話，一輪對(duì)話下來90%，兩輪對(duì)話下來就只有81%，最終的準(zhǔn)確率大家可以想象。

所以怎么去做呢？

可以想象下，你到了海外，語言不通，如果點(diǎn)菜只通過語言去講的話，效率是比較低的。而這時(shí)候，如果商家拿出一個(gè)菜單，你只需要點(diǎn)擊菜單，告訴商家“這個(gè)，這個(gè)”就結(jié)束了。

所以我們的智能客服，同用戶的信息交流方式也要多樣。不僅僅通過文本和語音，還可以通過其它圖文并茂的方式，最短時(shí)間內(nèi)，讓用戶和機(jī)器人可以達(dá)到信息交流的目的，提高效率。

關(guān)于攜程的技術(shù)演進(jìn)之路，簡(jiǎn)單介紹到這里?，F(xiàn)在回頭看來，攜程走過的這些歷程，跟其它大型電商平臺(tái)，都是非常類似的，所謂殊途同歸。大家都是通過不斷的迭代，重構(gòu)，引進(jìn)和吸收新的技術(shù)和理念，一步一步走到今天。

我們現(xiàn)在還在路上，相信以后也會(huì)一直在路上。