當當網(wǎng)自成立以來，內(nèi)部技術(shù)體系的發(fā)展已經(jīng)有15年左右的歷史了。系統(tǒng)架構(gòu)也經(jīng)歷了從高度集成的軟件向分布式、低耦合、SOA化系統(tǒng)的演進過程，形成全面支持網(wǎng)上零售業(yè)各種業(yè)態(tài)模式的系統(tǒng)架構(gòu)，每天支撐著千萬級的PV訪問，承載了超過100億元人民幣的年營業(yè)額，2013年雙11峰值流量達到日常的10倍。 作為一個典型的自營與開放平臺相結(jié)合的網(wǎng)上零售電子商務(wù)平臺，當當網(wǎng)網(wǎng)上購物流程由多達上百個大小系統(tǒng)共同實現(xiàn)。當當網(wǎng)最終服務(wù)于消費者，良好的用戶體驗、錢物準確是立足的根本，因此對系統(tǒng)穩(wěn)定性、可靠性、準確性有非常嚴格的要求。任何時候都能保證線上系統(tǒng)的穩(wěn)定運行，是我們工作的第一優(yōu)先級。電商系統(tǒng)的運行峰值通常出現(xiàn)在各類促銷、營銷活動期間，以及大量集中收訂的訂單帶來很大的生產(chǎn)和配送壓力時。 除了參加每年的雙11和雙12大促、每年的10月店慶、業(yè)內(nèi)重要的慶典、兩次開學季圖書大促、換季服裝大促、常規(guī)的新品和尾品大促以外，當當網(wǎng)每個月至少會有一次公司級別大促，而各種中小型大促常年不斷。各種促銷活動均可以閃購、秒殺、大量SKU促銷等模式實現(xiàn)。網(wǎng)站流量的來源除了新老用戶的直接登錄以外，還包括多種站外引流方式如網(wǎng)址導航、聯(lián)盟、搜索引擎、各種線上線下媒介、短信、郵件、微信等通道。 因流量來源的不同，相應(yīng)用戶的瀏覽、購物模式也大有不同。如很多促銷落地頁是當當網(wǎng)的“館”，或者專題頁，那么我們可以在活動之前做非常有針對性的準備；有時用戶已提前準備好了購物清單，如雙11這樣的促銷中，訂單轉(zhuǎn)化率會比平時高，體現(xiàn)在訂單收訂和賣場流量不會成比例上漲——如訂單收訂上漲6倍，賣場流量可能只會漲3~4倍；而一些外部引流方式會帶來大量無效、垃圾流量，所以訂單轉(zhuǎn)化率會比正常流量低。 有的活動流量會對首頁有較大影響；有的活動會對購物車有較大影響，如閃購類的限時購買或復雜的促銷邏輯；有的活動會對當當網(wǎng)的倉儲、配送系統(tǒng)有較大影響，如當當網(wǎng)配送的訂單；有的活動會對開放平臺有較大影響，如商家訂單。 因此，摸清業(yè)務(wù)模式和活動特點，是設(shè)計和運維高峰值電商系統(tǒng)，即高伸縮性系統(tǒng)的重中之重。但從另一個角度來說，在沒有動態(tài)彈性部署的前提下，過度的設(shè)計和服務(wù)器部署是一種浪費，特別是硬件非常有限的壽命會帶來每年巨大的成本攤銷。 當當網(wǎng)根據(jù)業(yè)務(wù)發(fā)展速度和業(yè)務(wù)運營規(guī)律，結(jié)合多年的經(jīng)驗，制定的系統(tǒng)伸縮性的設(shè)計原則和硬件常備策略使各流程能夠直接應(yīng)對日常5倍業(yè)務(wù)量的上漲。通過增加服務(wù)器的方式，能夠應(yīng)對10倍業(yè)務(wù)量上漲。而如果要應(yīng)對10倍以上的上漲，則需要提前做有針對性的系統(tǒng)優(yōu)化。但無論當前承受的業(yè)務(wù)量是否超過了設(shè)計范圍，都不能影響設(shè)計范圍內(nèi)業(yè)務(wù)量的正常處理。 設(shè)計和部署大流量、高并發(fā)系統(tǒng)的技術(shù)方案選擇比較多，業(yè)內(nèi)有很多成功經(jīng)驗和案例。但根據(jù)我們的經(jīng)驗，設(shè)計高峰值的網(wǎng)上零售業(yè)電商應(yīng)用系統(tǒng)通常要面對以下幾大難點。
針對這幾大難點，有以下幾大應(yīng)對策略。
在描述電商平臺峰值系統(tǒng)的設(shè)計之前，通過圖1可簡單了解當當網(wǎng)電商平臺的幾大組成系統(tǒng)：賣場系統(tǒng)，促銷、會員系統(tǒng)，商品管理系統(tǒng)，交易系統(tǒng)，訂單管理系統(tǒng)，倉儲與調(diào)撥系統(tǒng)，物流與配送系統(tǒng)，客服與退換貨系統(tǒng)等。
系統(tǒng)分級 對于電商網(wǎng)站，用戶體驗是第一位的，系統(tǒng)穩(wěn)定運行是保證用戶良好體驗的基礎(chǔ)。在資源有限的條件下，采取對系統(tǒng)進行級別劃分的方式，對高級別系統(tǒng)保持重點關(guān)注，在設(shè)計、部署、監(jiān)控等方面確保高級別系統(tǒng)具備良好的伸縮性、健壯性和敏感度，能夠應(yīng)對電商業(yè)務(wù)中不確定的極限峰值沖擊。 當當網(wǎng)基于可能對用戶產(chǎn)生影響的程度與敏感度，將所有應(yīng)用系統(tǒng)分為三級，簡單描述如表1。 表1 應(yīng)用系統(tǒng)等級劃分標準 依此標準，當當網(wǎng)的一級系統(tǒng)主要包括賣場系統(tǒng)、商品詳情、價格系統(tǒng)、庫存系統(tǒng)、促銷系統(tǒng)、購物車、交易系統(tǒng)、支付系統(tǒng)、會員系統(tǒng)等。 二級系統(tǒng)則包括商品信息系統(tǒng)、訂單系統(tǒng)、ERP、倉儲系統(tǒng)、物流與干線運輸系統(tǒng)等。 三級系統(tǒng)主要是結(jié)算系統(tǒng)、報表系統(tǒng)，以及運營、活動管理類系統(tǒng)。 其中一級系統(tǒng)基本可分為兩類，第一類為面向用戶訪問的前端頁面，第二類為購買流程所涉及的系統(tǒng)。一級系統(tǒng)的關(guān)鍵指標是可用性，在設(shè)計和部署時都要高標準嚴要求，要求具備完善的容錯降級機制，日常保持較低的系統(tǒng)運行負載，配置高級別的監(jiān)控告警流程，出現(xiàn)問題在要求的SLA標準內(nèi)修復與解決。這兩類系統(tǒng)的核心業(yè)務(wù)功能定位不同，采用的技術(shù)也不同，前端頁面系統(tǒng)主要使用PHP語言，購買流程則主要由Java語言實現(xiàn)。 前端頁面系統(tǒng)是電商業(yè)務(wù)的流量入口，需解決的核心問題是保證大流量高并發(fā)情況下的快速展示可用，這方面業(yè)界已有較為成熟的解決方案，如CDN、緩存、靜態(tài)化、異步加載、與依賴的數(shù)據(jù)源解耦、同機部署、數(shù)據(jù)庫讀寫分離等。通過這樣的設(shè)計使前端無狀態(tài)頁面應(yīng)用可以水平擴展，增加Web服務(wù)器即可提升系統(tǒng)能力。 為充分發(fā)揮系統(tǒng)資源潛力、提高性能，我們引入HHVM對PHP代碼進行優(yōu)化加速，經(jīng)過性能測試驗證，取得了顯著效果，性能提升超過100%?，F(xiàn)在當當網(wǎng)前端頁面系統(tǒng)具備支撐10倍流量沖擊的能力，面對超出極限的流量峰值，我們也有預(yù)案，主要采取延長緩存時效、本地靜態(tài)化方式，屏蔽峰值流量對后端系統(tǒng)的沖擊，并具備容錯機制，在后端非關(guān)鍵服務(wù)失效時優(yōu)雅展示等。賣場系統(tǒng)作為生成各種活動專題頁面的工廠，支持通過配置將頁面組件靜態(tài)化，以滿足更高訪問量的要求。 購買流程是電商業(yè)務(wù)流程中至關(guān)重要的環(huán)節(jié)，一旦出現(xiàn)問題，將使前面的引流、促銷、搜索、推薦等營銷成果付諸東流，因此購物車、交易系統(tǒng)和支付系統(tǒng)必須確保用戶購買結(jié)算過程的高效穩(wěn)定，并保證數(shù)據(jù)持久化的準確性和一致性。 購物車與交易系統(tǒng)邏輯復雜，依賴服務(wù)眾多，其中交易流程的實現(xiàn)依賴超過100個服務(wù)。我們梳理出核心業(yè)務(wù)流程，再根據(jù)與核心業(yè)務(wù)流程的關(guān)系，區(qū)分出對服務(wù)的依賴性強弱。弱依賴服務(wù)如積分、禮券、收藏夾等，通過較好的容錯和降級機制，在業(yè)務(wù)量達到峰值時，可通過服務(wù)降級維持核心業(yè)務(wù)流程的穩(wěn)定運行。對于強依賴服務(wù)中數(shù)據(jù)變化較少的配置查詢類服務(wù)，則通過緩存數(shù)據(jù)來降低服務(wù)依賴關(guān)系，犧牲部分數(shù)據(jù)的及時性換取系統(tǒng)的健壯性。 交易型系統(tǒng)的業(yè)務(wù)，成功率是關(guān)鍵指標，可能因為分布式服務(wù)集群中部分實例異常或網(wǎng)絡(luò)問題導致調(diào)用強依賴的服務(wù)失敗，需要發(fā)起重試，為兼顧用戶體驗和減少對系統(tǒng)資源的占用，采用設(shè)置較短超時時間及重試其他服務(wù)節(jié)點方式更為合理。經(jīng)過優(yōu)化，購買流程的系統(tǒng)可用性指標達到了99.99%。 二級系統(tǒng)多數(shù)為后臺訂單與履約系統(tǒng)。在流量漏斗模型下，在一級系統(tǒng)內(nèi)形成訂單后，訂單流轉(zhuǎn)到二級系統(tǒng)，二級系統(tǒng)面對的峰值壓力要小得多。 二級系統(tǒng)多采用異步方式進行系統(tǒng)交互，對于超出處理能力的業(yè)務(wù)數(shù)據(jù)，異步機制削峰填谷，使系統(tǒng)得以在可控的壓力下運行。系統(tǒng)資源占用維持在較高水位，既能充分利用系統(tǒng)資源，又可以保證較高的處理效能。當然，異步機制帶來的延遲問題也必須控制在合理范圍之內(nèi)，在業(yè)務(wù)量驟增時可以容忍一定程度延遲。如果平時就經(jīng)常出現(xiàn)延遲，則需要進行優(yōu)化，或者重新進行容量規(guī)劃，提高系統(tǒng)整體的吞吐能力。2014年為應(yīng)對雙11及未來業(yè)務(wù)發(fā)展，當當網(wǎng)對訂單系統(tǒng)數(shù)據(jù)庫進行了擴容，規(guī)模達到之前的5倍，其他部分系統(tǒng)也進一步分庫分表，使之具備承載更高業(yè)務(wù)峰值的能力。 系統(tǒng)分級是根據(jù)不同系統(tǒng)的特點，結(jié)合公司業(yè)務(wù)戰(zhàn)略關(guān)注點進行的差異化處理。電商業(yè)務(wù)鏈貫穿多個系統(tǒng)，每一個環(huán)節(jié)都不容忽視。一級系統(tǒng)固然是核心優(yōu)化的重點，二三級別系統(tǒng)的技術(shù)指標要求也同樣嚴格。 我們對每個系統(tǒng)的可用性都有嚴格要求，并將監(jiān)控系統(tǒng)列為一級系統(tǒng)，時刻關(guān)注木桶理論中最短的那塊板子，我們的目標是打造一套性能均衡，沒有明顯短板，日常能夠應(yīng)對5倍業(yè)務(wù)峰值壓力的電商系統(tǒng)平臺。 解耦與SOA實踐 經(jīng)過多年實踐，當當網(wǎng)逐步完成系統(tǒng)架構(gòu)的SOA化改造，并通過SOA化，實現(xiàn)了服務(wù)解耦與高內(nèi)聚，簡化了架構(gòu)復雜度，這是主流零售型電商平臺通常選擇的道路?；诜植际降姆?wù)使系統(tǒng)具備更強的伸縮性和擴展性，系統(tǒng)瓶頸更易定位和優(yōu)化，滿足業(yè)務(wù)快速增長的需要。 SOA即面向服務(wù)的架構(gòu)，在業(yè)界并沒有統(tǒng)一的標準，但有一些公認的設(shè)計原則：標準合約、松散耦合、服務(wù)抽象、可復用性、服務(wù)自治、無狀態(tài)性、可發(fā)現(xiàn)性、可組合性。 在實際應(yīng)用過程中，根據(jù)系統(tǒng)情況以其中部分原則為側(cè)重點，不求全責備，簡單實用為上。 2012年起，當當網(wǎng)啟動一系列重點項目，首先對開放平臺進行重構(gòu)，使開放平臺成為搭建在PIM、庫存、價格、促銷、訂單、TMS等主業(yè)務(wù)系統(tǒng)之上一套具備更靈活的擴展性的業(yè)務(wù)平臺。 這次重構(gòu)是當當網(wǎng)近年的重大架構(gòu)調(diào)整之一，之后各主業(yè)務(wù)系統(tǒng)陸續(xù)實現(xiàn)業(yè)務(wù)平臺化，支持多商家甚至是平臺級跨商家的業(yè)務(wù)模式。開放平臺將原有獨立管理的商家商品信息、訂單流程遷移至PIM系統(tǒng)和訂單系統(tǒng)進行統(tǒng)一管理，充分發(fā)揮服務(wù)的可復用性，減少重復邏輯的多點實現(xiàn)帶來的開發(fā)和維護成本。 商品信息是電商業(yè)務(wù)系統(tǒng)中的核心主數(shù)據(jù)，是促銷、價格、庫存、禮券、搜索等系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。PIM系統(tǒng)作為商品主數(shù)據(jù)系統(tǒng)，承擔著管理商品基礎(chǔ)數(shù)據(jù)、關(guān)系、品牌、類目和狀態(tài)等信息的職能，商品數(shù)據(jù)量在千萬級別。 PIM系統(tǒng)的SOA建設(shè)經(jīng)過了兩個階段。第一階段主要是實現(xiàn)服務(wù)化，因服務(wù)設(shè)計粒度過細，發(fā)布的服務(wù)達到數(shù)百個，其他系統(tǒng)要完成一個業(yè)務(wù)功能可能需要調(diào)用多個PIM服務(wù)，增加了服務(wù)使用方的邏輯復雜度，也帶來了更多的網(wǎng)絡(luò)交互開銷，不能稱為SOA的最佳實踐。 為此，又進行了第二階段改造，將第一階段實現(xiàn)的服務(wù)定義為基礎(chǔ)服務(wù)，根據(jù)業(yè)務(wù)需要將其組合，提供粗粒度的對外服務(wù)，解決了之前的問題。粗粒度服務(wù)能夠提供獨立的業(yè)務(wù)功能，可能同時依賴于多個系統(tǒng)的基礎(chǔ)服務(wù)，當服務(wù)使用方因業(yè)務(wù)需要調(diào)用多個粗粒度服務(wù)時，可能會對同一個基礎(chǔ)服務(wù)發(fā)起多次訪問，產(chǎn)生疊加的系統(tǒng)壓力。我們經(jīng)過分析認為，底層服務(wù)資源的消耗能夠簡化上層應(yīng)用邏輯，對于系統(tǒng)架構(gòu)層次的合理性更為有益，只要提高底層基礎(chǔ)服務(wù)的性能，上層服務(wù)能力將更具彈性。 遵循SOA的系統(tǒng)解耦有時會增加系統(tǒng)資源開銷，甚至降低部分服務(wù)性能指標，但可使系統(tǒng)架構(gòu)更為清晰，增加服務(wù)復用性，具備更強的業(yè)務(wù)擴展性，提高開發(fā)測試效率，降低開發(fā)運維的人力成本，及時響應(yīng)業(yè)務(wù)創(chuàng)新，使IT系統(tǒng)重現(xiàn)活力。 通過上述系統(tǒng)架構(gòu)治理，當當網(wǎng)以很少的臨時性系統(tǒng)準備順利度過2013年雙11大促。 海量動態(tài)信息流的快速發(fā)布 當當網(wǎng)打造綜合品類電商平臺，開放商家入駐，隨之而來的是商品數(shù)據(jù)量迅速突破千萬。商品信息是電商業(yè)務(wù)流程前端的重要數(shù)據(jù)，是進行營銷活動、生成訂單的基礎(chǔ)。商品信息在前臺有多種展示頁面，大規(guī)模營銷活動期間運營人員需要進行大量操作設(shè)置，價格、庫存等也會更為頻繁地更新。目前庫存日更新量峰值超過1500萬SKU的變化；價格日更新數(shù)據(jù)量達500萬以上SKU，極限峰值超過1000萬，每秒可能超過1萬。數(shù)據(jù)同步及時性、一致性指標關(guān)乎用戶體驗和營銷活動執(zhí)行效率，如此大量的數(shù)據(jù)，在各業(yè)務(wù)系統(tǒng)之間高效穩(wěn)定傳輸，對系統(tǒng)架構(gòu)提出了很大的挑戰(zhàn)。 當當網(wǎng)的商品數(shù)據(jù)有多個來源，自營實物商品來源于ERP系統(tǒng)，電子書來源于數(shù)字業(yè)務(wù)系統(tǒng)，商家商品來源于開放平臺，最終這些商品的數(shù)據(jù)都由主業(yè)務(wù)系統(tǒng)中的PIM、庫存系統(tǒng)、價格系統(tǒng)集中統(tǒng)一管理，再發(fā)布到搜索系統(tǒng)、推薦系統(tǒng)、前端頁面展示等系統(tǒng)。為了對商品信息中的關(guān)鍵數(shù)據(jù)同步時效進行監(jiān)控，當當網(wǎng)建立了啄木鳥監(jiān)控系統(tǒng)，覆蓋了近20個信息流路徑數(shù)百個節(jié)點，對超出同步時限的環(huán)節(jié)自動報警，以便及時處理，避免發(fā)生嚴重的延遲。 商品的關(guān)鍵數(shù)據(jù)包括商品基本信息、庫存和價格，庫存和價格都依賴于商品基本信息，對于不同類型的數(shù)據(jù)，根據(jù)應(yīng)用場景區(qū)別對待。平臺化之后，每個商品都歸屬于一個商家，以商家ID為維度進行散列，將商品基本信息保存在數(shù)據(jù)庫中，支持水平擴展，可以滿足商品數(shù)據(jù)不斷增長的需要。對于歷史版本的商品信息，則遷移至歷史版本庫，作為訂單交易快照供用戶查詢。庫存數(shù)據(jù)在前端展示只關(guān)注是否有貨，并不需要將每一次庫存變化同步，在庫存變?yōu)?或從0變?yōu)檎麛?shù)時觸發(fā)狀態(tài)同步，交易下單時實時查詢當前庫存即可，此種變數(shù)量為狀態(tài)的方式極大地減少了同步數(shù)據(jù)量，提高了數(shù)據(jù)一致性。 價格屬于高度敏感的數(shù)據(jù)，對于手機專享價等類型，業(yè)務(wù)運營有設(shè)置生效時間、失效時間的要求，為保證前端按照時間動態(tài)展示，我們將生效時間段數(shù)據(jù)也發(fā)布到前端系統(tǒng)，由使用方判斷當前有效價格。圖2中給出了主要信息流。 圖2 主要信息流示例 即便已經(jīng)對不同類型的商品信息數(shù)據(jù)流進行了差異化處理，仍然不能排除短時間內(nèi)會發(fā)生大量數(shù)據(jù)造成系統(tǒng)同步阻塞，影響正常業(yè)務(wù)運營操作的及時發(fā)布。極端情況下，超出系統(tǒng)處理能力還可能導致系統(tǒng)崩潰。為解決此類問題，我們采用批量、異步、分流、限流等手段進行處理。 批量、批次操作 限制API調(diào)用頻次的同時，我們提供批量API供商家對商品信息進行更新，批量更新方式減少了各環(huán)節(jié)交互次數(shù)，提高了系統(tǒng)吞吐量，更好地貼合營銷活動中批量處理的需求。在系統(tǒng)內(nèi)部，批量方式能夠有效降低系統(tǒng)資源開銷，并能對頻繁更新的商品數(shù)據(jù)進行合并處理，提高處理速度，使數(shù)據(jù)更新及時準確。 增加異步處理，減少同步處理 信息流同步經(jīng)過多個系統(tǒng)，每個系統(tǒng)處理邏輯和吞吐能力不同，采用同步機制可能導致上游系統(tǒng)將下游系統(tǒng)拖垮，因此采用異步機制最為穩(wěn)妥。異步方式有兩點好處：一方面起到緩沖的作用，下游系統(tǒng)依據(jù)自身能力控制處理數(shù)據(jù)量，避免遭受超負荷的沖擊，保證系統(tǒng)穩(wěn)定運行；另一方面實現(xiàn)系統(tǒng)隔離解耦，一旦下游系統(tǒng)出現(xiàn)異常，上游系統(tǒng)仍然能正常處理數(shù)據(jù)，不至于引發(fā)連鎖反應(yīng)。 分流 不同的信息對處理時效的要求也不同，庫存、價格、商品上下架狀態(tài)同步及時性要求很高，而商品基本信息，如名稱、副標題、詳情則相對較低。拆分不同的同步路徑，對及時性要求高的數(shù)據(jù)配置更多的系統(tǒng)資源，既保障了敏感數(shù)據(jù)的及時性，又避免了數(shù)據(jù)積壓相互干擾。同理，針對三種不同的數(shù)據(jù)來源渠道（ERP、數(shù)字業(yè)務(wù)系統(tǒng)、開放平臺），也可通過分流方式保證自營實物、電子書和商家商品信息的及時同步。 限流 多數(shù)的商品數(shù)據(jù)來源于商家，商家會通過一些第三方系統(tǒng)與當當網(wǎng)開放平臺對接，調(diào)用API進行數(shù)據(jù)同步。一些不合理的同步機制設(shè)置會頻繁發(fā)起大量的數(shù)據(jù)同步請求，而多數(shù)請求屬于無效數(shù)據(jù)，這類數(shù)據(jù)難以識別，會浪費大量的系統(tǒng)資源，干擾有效數(shù)據(jù)的處理。我們在開放平臺對每個商家調(diào)用API的頻次進行限制，根據(jù)商家商品數(shù)量合理分配，有效地抑制了無效數(shù)據(jù)的泛濫。 隨著多年雙11和集中促銷模式的考驗，電商系統(tǒng)的峰值設(shè)計理念和實踐已經(jīng)慢慢趨于成熟，但仍然是所有電商類公司技術(shù)團隊的最重要任務(wù)之一。 當當網(wǎng)技術(shù)團隊經(jīng)過多年的沉淀，積累了大量處理電商業(yè)務(wù)峰值的經(jīng)驗。通過深入分析應(yīng)用場景，對系統(tǒng)進行分級，SOA化完成系統(tǒng)解耦，并采用多種技術(shù)手段實現(xiàn)海量數(shù)據(jù)的高效處理發(fā)布，不斷提升系統(tǒng)吞吐能力，確保為用戶提供穩(wěn)定友好的購物服務(wù)體驗，充分體現(xiàn)技術(shù)力量在產(chǎn)業(yè)中的重要作用。 版權(quán)申明：內(nèi)容來源網(wǎng)絡(luò)，版權(quán)歸原創(chuàng)者所有。除非無法確認，我們都會標明作者及出處，如有侵權(quán)煩請告知，我們會立即刪除并表示歉意。謝謝。 -END- |
|
|
