 引言 最近，我聽到了一個(gè)消息，螞蟻金服將會(huì)開源 SOFA最核心的兩個(gè)組件——分布式事務(wù)框架和服務(wù)注冊中心。 熟悉中間件的朋友們都知道，這兩個(gè)組件都是針對當(dāng)前最火的微服務(wù)架構(gòu)。其中，分布式事物框架是解決數(shù)據(jù)一致性問題的關(guān)鍵。服務(wù)注冊中心則是服務(wù)治理的基礎(chǔ)。在這兩塊開源后，SOFA 將成為一套真正完備的分布式解決方案。 作為開源人士，我對此消息深感興趣，因此聯(lián)系到了螞蟻金服中間件團(tuán)隊(duì)的楊冰總監(jiān)，就此消息向他求證。機(jī)緣湊巧之下，楊冰花費(fèi)了寶貴的時(shí)間，和我深入講述了 SOFA 開源的思考，以及近期的規(guī)劃。 通過這次交談，也讓我看到了一個(gè)成功的商業(yè)公司是如何擁抱開源、并將開源作為其根本戰(zhàn)略來撬動(dòng)技術(shù)紅利，支持其急速發(fā)展的業(yè)務(wù)需求的。 以下是正文，我將它分享出來以饗讀者。 如今，開源已經(jīng)成為主流，可以說，整個(gè)信息產(chǎn)業(yè)已經(jīng)從過去的閉源模式轉(zhuǎn)換為現(xiàn)今的開源模式。各種開源公司紛紛創(chuàng)新不同的開源模式，其中以 RedHat、Google、Facebook 等公司所取得的成績最為耀眼。 2018 年的時(shí)候，我曾經(jīng)參與“開源社”主持的《2018 中國開源年度報(bào)告》的撰寫工作，并建立了一個(gè)數(shù)學(xué)分析模型，以此來對中國的互聯(lián)網(wǎng)公司的開源項(xiàng)目分析其活躍度和健康度。讓我既感意外，也不意外的是，阿里系的開源項(xiàng)目占據(jù)了活躍度排行榜前五的第一、第二和第四；甚至在前五十個(gè)項(xiàng)目中，阿里系的開源項(xiàng)目占據(jù)了超過一半的份額！我不意外的是，業(yè)界一直對阿里在開源方面的動(dòng)作和力度頗有感受；意外的是，這種力度還是超乎了我的想象。這其中包括阿里巴巴集團(tuán)和螞蟻金服等都貢獻(xiàn)了相當(dāng)可觀的開源項(xiàng)目。 因此，這次遇到楊冰時(shí)，我就開源方面和他深入聊了幾句，想了解一下螞蟻金服是如何思考開源和踐行開源的，是如何將開源與公司的商業(yè)價(jià)值有機(jī)地結(jié)合起來的。 緣何開源 作為一家商業(yè)公司，宣稱自己開源，甚至也形式上開源一些代碼，其實(shí)已經(jīng)是很常見的事情了。但是，真正能將開源與公司的技術(shù)演進(jìn)相融合，并能有效地助推公司業(yè)務(wù)發(fā)展的，卻并不太多。這件事其實(shí)并沒有那么簡單——遠(yuǎn)非只是上傳到 GitHub 那么簡單。 根據(jù)業(yè)界的經(jīng)驗(yàn)，在公司的技術(shù)產(chǎn)品開源方面，要將現(xiàn)有場景的代碼開源，至少需要在已經(jīng)運(yùn)行穩(wěn)定、結(jié)構(gòu)清晰的現(xiàn)有代碼基礎(chǔ)上多付出 30% 的技術(shù)投入，對代碼進(jìn)行梳理、完善和通用化，才能做到初步的代碼開源；而進(jìn)一步要將這些開源代碼維護(hù)下去，乃至于和公司業(yè)務(wù)線上的產(chǎn)品代碼保持同步發(fā)展，多付出的技術(shù)成本還遠(yuǎn)遠(yuǎn)不止這些。作為一個(gè)互聯(lián)網(wǎng)技術(shù)老兵，我對此深以為然。 那么，螞蟻金服是如何說服公司決策層在尚未看到開源回報(bào)的前景下，同意付出這么多的額外代價(jià)來支持開源的呢？推動(dòng)開源的力量是因何而來的？ “首先，開源是個(gè)共贏的模式，對于螞蟻金服來說，開源可以擴(kuò)大技術(shù)服務(wù)場景，為支付、金融等更多的客戶提供服務(wù)，提升合作伙伴的效率?！睏畋f，“雖然，螞蟻金服已經(jīng)有很多的業(yè)務(wù)場景，也在很多場景下取得了超大規(guī)模的實(shí)踐經(jīng)驗(yàn)，但是，依然存在沒有覆蓋到的金融服務(wù)場景。而將技術(shù)開源出來，可以供更多的客戶應(yīng)用到其自身的場景下——這些場景有效的補(bǔ)充了螞蟻金服的技術(shù)應(yīng)用面，也為更完善的技術(shù)框架奠定了基礎(chǔ)。因此，我們選擇將 SOFA 中間件框架逐步開源出來，在貢獻(xiàn)給社區(qū)的同時(shí)，也期待社區(qū)、合作伙伴甚至客戶，都能夠一起參與共建，形成行業(yè)標(biāo)準(zhǔn)和最佳實(shí)踐。” “其次，對金融服務(wù)來說，監(jiān)管和自主可控的要求更多，”楊冰接著談到，“客戶也希望可以對其所采用的技術(shù)有更多的掌控。”開源是一種可以使客戶和上下游產(chǎn)業(yè)共同參與和發(fā)展的可行模式。 “所以，其實(shí)并不是技術(shù)部門去說服公司決策層去開源，而是業(yè)務(wù)發(fā)展的自然選擇，這也是一種合理的發(fā)展方向?！彼偨Y(jié)道。這樣的結(jié)果，其實(shí)是和當(dāng)前流行的開源商業(yè)模式所暗合的。 “另外，如你所說，確實(shí)在開源時(shí)，我們做了很大的改造。以可擴(kuò)展化的方式來層層構(gòu)建 SOFA 框架的能力，保證 SOFA 的內(nèi)部版本和開源的版本采用的是同一個(gè)內(nèi)核。在開源時(shí)，剝離了特定業(yè)務(wù)的邏輯，而保持了公司內(nèi)部的業(yè)務(wù)線上的代碼和開源代碼的核心是一致的。這樣，只要公司的業(yè)務(wù)在持續(xù)發(fā)展，開源的代碼就會(huì)一直維護(hù)和演進(jìn)下去。所以 SOFA 的內(nèi)部版本就是在開源版本之上擴(kuò)展了內(nèi)部邏輯和歷史版本的兼容邏輯。開源版本的核心邏輯，內(nèi)外是一致的，并在螞蟻金服的生產(chǎn)環(huán)境中被廣泛使用，同時(shí)會(huì)隨著螞蟻金服自身業(yè)務(wù)訴求的驅(qū)動(dòng)不斷的演進(jìn)。”楊冰補(bǔ)充道，“但這是值得的，在為開源代碼做改進(jìn)時(shí)，也是為公司自己的業(yè)務(wù)做改進(jìn)，這是雙贏且可持續(xù)發(fā)展的?！?/span> 很多公司在初涉開源時(shí)，常常有疑慮，將核心技術(shù)開放出去，會(huì)不會(huì)導(dǎo)致競爭對手的技術(shù)提升，會(huì)不會(huì)造成更大的技術(shù)競爭壓力？ “事實(shí)上，我們在最初準(zhǔn)備開源時(shí)，也有討論過這個(gè)方面。技術(shù)要被更多人用、更多場景用，才會(huì)有發(fā)展。而開放的技術(shù)才能帶來團(tuán)隊(duì)的發(fā)展，因?yàn)榧夹g(shù)是動(dòng)態(tài)發(fā)展的，作為開源的一方，事實(shí)上在技術(shù)上是相對領(lǐng)先的。開源和掌握是兩碼事，掌握和用好又是兩碼事，所以，因開源而帶來的競爭，其實(shí)是助推整個(gè)開源體系的發(fā)展的，是良性的、有益的?！睏畋f，“而從社區(qū)和行業(yè)現(xiàn)狀看，大家都在開放，封閉的技術(shù)體系會(huì)逐漸落后。只有開放才能求同存異，共同發(fā)展?！?/span>
SOFA 的演進(jìn)和開源之路 SOFA 中間件框架是螞蟻金服自主研發(fā)的金融級(jí)分布式中間件，包含了構(gòu)建金融級(jí)云原生架構(gòu)所需的各個(gè)組件，是一套分布式架構(gòu)的完整的解決方案，也是在金融場景里錘煉出來的最佳實(shí)踐。 SOFA開源全景圖，涵蓋了微服務(wù)領(lǐng)域的各個(gè)方面，同時(shí)也積極和業(yè)界流行的開源組件結(jié)合，包括阿里巴巴集團(tuán)開源的Nacos、Sentinel等，為用戶提供更加廣泛地選擇。 SOFA 作為一個(gè)演進(jìn)了幾年的框架，也一定程度上代表了螞蟻金服的技術(shù)體系的演變，并且現(xiàn)在形成了開源核心、開放式（組件式）開源的模式。SOFA 從 2018 年開始開源，但是我比較好奇 SOFA 開源之前的發(fā)展旅程是怎樣的。 楊冰說，“最早的時(shí)候，在螞蟻金服還沒有從淘寶分拆出來時(shí)，公司內(nèi)使用過一個(gè)名為 Webx 的框架，但是隨著業(yè)務(wù)的發(fā)展和技術(shù)的演講，這套框架已經(jīng)不太適應(yīng)淘寶的需求。那個(gè)時(shí)候胡喜（現(xiàn)螞蟻金服副 CTO）就重新創(chuàng)建了一個(gè)新的框架——SOFA 中間件框架。” SOFA 中間件在螞蟻內(nèi)部經(jīng)歷了十年的發(fā)展和五代架構(gòu)的演進(jìn)，被廣泛應(yīng)用在包括支付、借貸、信用、基金、保險(xiǎn)等全金融場景，支撐著螞蟻平穩(wěn)度過歷次雙十一、雙十二、新春紅包等大考，創(chuàng)造了 25.6 萬筆每秒的交易記錄，并還在不斷刷新這個(gè)記錄。 “SOFA 的版本迭代和公司的架構(gòu)發(fā)展是密切相關(guān)的。比如說我們從 SOFA1 剛剛開始的時(shí)候，會(huì)做模塊化的事情。到了 SOFA2 開始引入整個(gè)微服務(wù)的體系。到 SOFA3 我們希望能夠在微服務(wù)體系下，能夠把一些服務(wù)聚合在一起，組成一個(gè)鏈路出來，這就是我們說的合并部署?！?/span> “隨著每年的交易量的不斷上升，讓我們必須從單體架構(gòu)轉(zhuǎn)到服務(wù)化架構(gòu)，然后演進(jìn)到單元化架構(gòu)、彈性架構(gòu)。SOFA 大部分的功能升級(jí)都是伴隨著整個(gè)公司的技術(shù)架構(gòu)目標(biāo)上的更大挑戰(zhàn)進(jìn)行的?！睏畋f，“我個(gè)人是經(jīng)歷了 SOFA1 到 SOFA2 開發(fā)過程，從 SOFA1 整體完成落地，到 SOFA2 引入了服務(wù)的架構(gòu)。到了 SOFA3 我們把 Tomcat JBoss 那層替換掉，變成自研的應(yīng)用服務(wù)器，解決了我們內(nèi)部系統(tǒng)做類隔離、模塊隔離以及合并部署的問題。” SOFA4：邁入開源 正如前面所談到的，開源既有的代碼是需要做許多繁重的工作的，所以， SOFA 直到發(fā)展到第四代才為開源做好了準(zhǔn)備，并將開源作為 SOFA4 的核心目標(biāo)。 “SOFA 發(fā)展了這么多年，是有非常重的歷史包袱的，這也是我們?yōu)殚_源準(zhǔn)備了非常長時(shí)間的原因。在從 SOFA3 到 SOFA4 的整個(gè)過程當(dāng)中，在把整個(gè) SOFA 做輕量化的過程當(dāng)中，其實(shí)就是在為開源做準(zhǔn)備。有一些公用的能力（和螞蟻金服的整個(gè)架構(gòu)或業(yè)務(wù)沒有強(qiáng)相關(guān)的部分）我們都希望可以開源出來。我們做開源這件事情不會(huì)把我們代碼分為完全兩套東西，然后兩個(gè)分別演進(jìn)，我們覺得這不是開源的正確做法。”楊冰說，“另外，開源對我們整個(gè)團(tuán)隊(duì)的消耗是非常大的，我們希望用同一套代碼來實(shí)現(xiàn)內(nèi)部的兼容和外部的開源，我們會(huì)在開源的代碼當(dāng)中留一些比較好的擴(kuò)展點(diǎn)，這也是對我們本身代碼架構(gòu)可擴(kuò)展性的挑戰(zhàn)，目前我們做到的程度就是這樣的?！?/span> SOFA 從 2018 年 4 月開始對外開源，得益于社區(qū)和開發(fā)者的認(rèn)同，在經(jīng)歷了半年多的時(shí)間，SOFA 所有相關(guān)的開源代碼，獲得了累計(jì) 10000+ 的 Star和 80 多個(gè)代碼貢獻(xiàn)者。 在線上社區(qū)方面，SOFA 開源的站點(diǎn)（https://www./）也是在不斷沉淀相關(guān)的文章和文檔。 楊冰說，“原先我們覺得開源就是最好的，然而在 SOFA 演進(jìn)的過程中，我們發(fā)現(xiàn)我們的場景足以構(gòu)建出來比開源軟件復(fù)雜度更高、能力更強(qiáng)的體系。我自己也在參與這個(gè)的過程當(dāng)中收獲了很多。這件事情也是從一個(gè)側(cè)面反映了螞蟻金服技術(shù)演進(jìn)的歷程。我們從最早的 IOE 架構(gòu)，到部分采用開源軟件，再到逐步開始全套自研。在自研過程當(dāng)中，擁抱部分開源軟件，并且去做深度的創(chuàng)造，做一些自己的創(chuàng)新。整個(gè)過程其實(shí)是一條非常艱難的路。” 楊冰說，“我認(rèn)為整個(gè)基礎(chǔ)設(shè)施是應(yīng)該走開源化道路的，因?yàn)閺?Linux 到 Kubernetes，已經(jīng)被一次又一次地證明。越底層的基礎(chǔ)代碼，包括 SOFA 中間件這樣的東西，看起來邏輯沒有業(yè)務(wù)系統(tǒng)那么復(fù)雜，然而其實(shí)它考慮的一些細(xì)節(jié)、設(shè)計(jì)的優(yōu)雅性、架構(gòu)的健壯性其實(shí)是非常強(qiáng)的。而且，它一旦要去支撐那么多業(yè)務(wù)系統(tǒng)，整個(gè)工程的復(fù)雜度也是非常高的，很難用一家公司的程序員去搞定整個(gè)技術(shù)棧。SOFA 也是一樣的，我們越來越發(fā)現(xiàn)這方面的一些趨勢。我們靠一己之力去做是很難的，再加上我們既要對內(nèi)支撐又要對外支持?，F(xiàn)在明白了這樣一個(gè)趨勢，因此我覺得應(yīng)該回饋社區(qū)，和社區(qū)共建才是比較好的一條路。以 Linux 為代表的瘋狂發(fā)展，以及伴隨著而來的商業(yè)化生態(tài)的繁榮，是一次又一次向世界證明，開源和商業(yè)化的結(jié)合是可以非常完美的?！?/span> SOFA5：擁抱 Service Mesh 從多年前的 SOA 架構(gòu)，到現(xiàn)在的容器化、微服務(wù)的技術(shù)演變，我們可以看到雖然技術(shù)在逐步變化，但是其主體指導(dǎo)思想還是一脈相承的。螞蟻金服在微服務(wù)方面已經(jīng)走到了探索的前沿，那么，當(dāng)前的 Service Mesh 技術(shù)在 SOFA 的發(fā)展過程中會(huì)起到什么作用？ “這兩年我們在積極擁抱、布局 Mesh，在演進(jìn)方向上，我個(gè)人比較關(guān)注 Mesh 這個(gè)方向，因?yàn)槲覀€(gè)人認(rèn)為這是把基礎(chǔ)設(shè)施沉淀到我們整個(gè)技術(shù)平臺(tái)當(dāng)中非常關(guān)鍵的一環(huán)。這也是我們 SOFA5 的主要目標(biāo)?！睏畋f，“隨著容器技術(shù)的興起，可以將以往的中間件組件拆分的更細(xì)、更靈動(dòng)，而資源利用率和運(yùn)維效率也得到了進(jìn)一步的改善?！?/span> 近年來，隨著 Kubernetes 確立了其在容器領(lǐng)域的統(tǒng)治地位，以及Serverless 模式等不可變基礎(chǔ)設(shè)施的架構(gòu)進(jìn)一步成熟，可以將服務(wù)在上層進(jìn)一步進(jìn)行抽象，為現(xiàn)在大規(guī)模的容器化、微服務(wù)化奠定了堅(jiān)實(shí)的基礎(chǔ)。 也有一些業(yè)界的意見認(rèn)為，Service Mesh 將會(huì)取代中間件。 楊冰認(rèn)為，“螞蟻金服已經(jīng)在中間件方面探索的比較深遠(yuǎn)，規(guī)模也相當(dāng)?shù)拇螅瑸槟玫綐I(yè)務(wù)紅利做了很多優(yōu)化，這些能力還是會(huì)存在，只是通過換了一種跟應(yīng)用集成的方式，讓 SDK 變得更輕。隨著基礎(chǔ)技術(shù)平臺(tái)逐步走向云化，我們認(rèn)為 ServiceMesh 將會(huì)是連接現(xiàn)在這個(gè)時(shí)代和云原生時(shí)代的橋梁，而且無論中間件還是很多基礎(chǔ)技術(shù)組件都將走向 Serverless。Serverless 對開發(fā)者而言將是一種全新編程模型，對運(yùn)維人員而言則是顛覆性的運(yùn)維模式，甚至是一種 Opsless，我相信廣義的 Serverless 模式會(huì)成為云原生時(shí)代的主角?！?/span> Service Mesh 這個(gè)新興領(lǐng)域是很大的一個(gè)熱點(diǎn)。螞蟻金服和社區(qū)一起共同發(fā)起了http://www./這樣一個(gè)針對中國的Service Mesh 領(lǐng)域開發(fā)者的社群，有很多的志愿者，螞蟻金服是其中之一。 在螞蟻金服的Service Mesh領(lǐng)域，涉及兩個(gè)開源項(xiàng)目SOFAMesh和SOFAMosn。這兩個(gè)項(xiàng)目的定位是這樣：
目前螞蟻金服開發(fā)團(tuán)隊(duì)已經(jīng)和 Istio 開發(fā)團(tuán)隊(duì)建立聯(lián)系，在 Istio 大規(guī)模落地方面進(jìn)行合作和探索，相關(guān)實(shí)踐和創(chuàng)新會(huì)在生產(chǎn)驗(yàn)證/代碼穩(wěn)定之后會(huì)貢獻(xiàn)出來。 Service Mesh 是一個(gè)非常新的技術(shù)，Istio 也是一個(gè)新興的項(xiàng)目，在生產(chǎn)落地上存在很多需要了解的細(xì)節(jié)和可能遇到的各種問題。而且有些需求是有共性的，如 RPC 協(xié)議的支持，舊有非微服務(wù)應(yīng)用的支持, 現(xiàn)有應(yīng)用升級(jí) Istio 的平滑遷移等。 “我們開源 SOFAMesh 和 SOFAMosn，一方面是希望可以將我們在 Service Mesh 和 Istio 落地的知識(shí)和經(jīng)驗(yàn)分享出去看，另一方面希望通過開源共建的方式一起來將這個(gè)兩個(gè)項(xiàng)目做的更完善。”楊冰說，“我們雖然現(xiàn)在開源出來的版本還不多，但是未來我們會(huì)把整個(gè)金融分布式云原生架構(gòu)的領(lǐng)域補(bǔ)齊，一方面會(huì)把內(nèi)部同領(lǐng)域產(chǎn)品更完整的開放出來，另一方面和每一個(gè)領(lǐng)域的社區(qū)實(shí)現(xiàn)都做到兼容和可互相集成?！?/span> NEXT：分布式事務(wù)以及服務(wù)注冊中心開源
螞蟻在 2007 年就開始在核心的業(yè)務(wù)中去使用自研的分布式事務(wù)框架去解決服務(wù)化以及數(shù)據(jù)庫拆分后的數(shù)據(jù)一致性問題，經(jīng)過 10 多年的演進(jìn)，SOFA 的分布式事務(wù)框架得到了螞蟻內(nèi)部業(yè)務(wù)廣泛地使用與鍛煉，包括螞蟻金服最核心的交易、支付、賬務(wù)系統(tǒng)等，在期間，SOFA 分布式事務(wù)框架也演化出了針對不用的業(yè)務(wù)場景的使用模式，兼顧研發(fā)效率與性能。而阿里巴巴前幾個(gè)月也開源了其分布式事務(wù)框架 Fescar，螞蟻金服和阿里巴巴將在分布式事務(wù)這個(gè)領(lǐng)域上強(qiáng)強(qiáng)聯(lián)手，SOFA 的分布式事務(wù)框架將與 Fescar 合并，為業(yè)界提供更加優(yōu)秀，更加全面的開源分布式事務(wù)解決方案。 服務(wù)注冊中心是微服務(wù)領(lǐng)域的重要組成部分，SOFA 的服務(wù)注冊中心最早源自于淘寶的初版 ConfigServer，在支付寶/螞蟻金服的業(yè)務(wù)發(fā)展驅(qū)動(dòng)下，近十年間已經(jīng)演進(jìn)至第五代，具備無限水平擴(kuò)展，高效的推送以及基于 AP 架構(gòu)高可用能力，同時(shí)結(jié)合 SOFARPC 具備異地多活單元化架構(gòu)支撐能力，SOFA 服務(wù)注冊中心的開源將會(huì)極大豐富整個(gè) SOFA 開源的生態(tài)體系，也為微服務(wù)領(lǐng)域帶來一個(gè)全新的服務(wù)發(fā)現(xiàn)解決方案。 總結(jié) 縱觀螞蟻金服的 SOFA 中間件開源的歷程，我們看到了一個(gè)大型的商業(yè)公司是如何將開源核心模式和其商業(yè)模式緊密結(jié)合的；其走過的從采用專有軟件、應(yīng)用部分開源軟件、演化自身的自研軟件，到開源核心軟件、全面擁抱開源世界的路徑值得很多技術(shù)企業(yè)學(xué)習(xí)和思考。 |
|
|
