在All in Cloud的云計(jì)算時(shí)代，業(yè)務(wù)和應(yīng)用正在不斷“云化”，在此過(guò)程中云原生（Cloud Native）理念應(yīng)運(yùn)而生。作為云化改造的重要部分，云數(shù)據(jù)庫(kù)因其天生的彈性擴(kuò)展能力以及靈活、易用等特點(diǎn)，讓其在面對(duì)爆炸性增長(zhǎng)的數(shù)據(jù)量和愈加繁復(fù)的數(shù)據(jù)類(lèi)型時(shí)表現(xiàn)的更加游刃有余。

面對(duì)業(yè)務(wù)及應(yīng)用的“云原生化”，數(shù)據(jù)庫(kù)技術(shù)究竟面臨了怎樣的挑戰(zhàn)及發(fā)展趨勢(shì)？為此巨杉科技特別舉辦了“云時(shí)代的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)與演進(jìn)”深圳站活動(dòng)，邀請(qǐng)多位數(shù)據(jù)庫(kù)領(lǐng)域?qū)＜規(guī)?lái)精彩紛呈的技術(shù)干貨、分享實(shí)實(shí)在在的應(yīng)用實(shí)踐經(jīng)驗(yàn)，讓現(xiàn)場(chǎng)數(shù)百位開(kāi)發(fā)者收獲滿滿。

云架構(gòu)下分布式數(shù)據(jù)庫(kù)設(shè)計(jì)實(shí)踐

作為第一位分享嘉賓， 巨杉數(shù)據(jù)庫(kù)研發(fā)副總裁許建輝在主題為“云架構(gòu)下分布式數(shù)據(jù)庫(kù)設(shè)計(jì)實(shí)踐”的分享中表示，云架構(gòu)對(duì)數(shù)據(jù)庫(kù)的要求最先產(chǎn)生于應(yīng)用程序的變革?！昂茉缰?，過(guò)去的應(yīng)用開(kāi)發(fā)并沒(méi)有如此多的快速服務(wù)幫助，當(dāng)時(shí)的數(shù)據(jù)開(kāi)發(fā)模式如何？所有的企業(yè)應(yīng)該都有平臺(tái)部，負(fù)責(zé)開(kāi)發(fā)一套與所有數(shù)據(jù)庫(kù)打交道的中間件，負(fù)責(zé)與所有的數(shù)據(jù)庫(kù)讀取、存儲(chǔ)、前端應(yīng)用等做業(yè)務(wù)方面的鏈接。我們發(fā)現(xiàn)，在這種模式下數(shù)據(jù)庫(kù)是一個(gè)集中存儲(chǔ)的狀態(tài)，比較耦合。”

隨著互聯(lián)網(wǎng)業(yè)務(wù)的快速興起以及云架構(gòu)逐漸普及，進(jìn)而產(chǎn)生了微服務(wù)應(yīng)用體系。在微服務(wù)架構(gòu)下，我們看到了對(duì)數(shù)據(jù)庫(kù)訪問(wèn)模式發(fā)生的變遷。據(jù)了解，目前業(yè)界有三種情況，首先基于微服務(wù)并不需要做太多調(diào)整，采用集中數(shù)據(jù)庫(kù)存儲(chǔ)，這樣每個(gè)微服務(wù)的數(shù)據(jù)接口訪問(wèn)并不需要做很多變化，可以達(dá)成快速適配。

但相對(duì)之下也有很多不足，比方說(shuō)數(shù)據(jù)集中存儲(chǔ)在后端數(shù)據(jù)庫(kù)中，數(shù)據(jù)的解耦合對(duì)每個(gè)微服務(wù)都有影響，分別是數(shù)據(jù)讀取本身以及資源，畢竟數(shù)據(jù)訪問(wèn)的模式有差別，需求不同。此外在集中存儲(chǔ)后，數(shù)據(jù)的彈性擴(kuò)張出現(xiàn)問(wèn)題。畢竟微服務(wù)的模式對(duì)數(shù)據(jù)擴(kuò)張并不排斥，但存儲(chǔ)不行，不彈性沒(méi)商量；如果涉及到更換數(shù)據(jù)庫(kù)也必然會(huì)對(duì)所有微服務(wù)架構(gòu)產(chǎn)生干擾。

“應(yīng)對(duì)這種情況，現(xiàn)在主流的玩法是每個(gè)微服務(wù)都有一個(gè)獨(dú)立存儲(chǔ)，這樣開(kāi)發(fā)起來(lái)比較簡(jiǎn)單，但同樣會(huì)帶來(lái)幾方面的問(wèn)題，例如每個(gè)微服務(wù)都具備獨(dú)立數(shù)據(jù)庫(kù)存儲(chǔ)之后，每個(gè)企業(yè)都會(huì)有成千上百的微服務(wù)，如何做到統(tǒng)一治理、統(tǒng)一的數(shù)據(jù)視圖很重要，當(dāng)然管理成本是個(gè)需要前期考量的大問(wèn)題，避免數(shù)據(jù)產(chǎn)生嚴(yán)重的碎片化很重要?！彼偨Y(jié)道。

這種情況需要什么好辦法來(lái)解決？通常采用分布式數(shù)據(jù)庫(kù)平臺(tái)。對(duì)于上層，對(duì)所有微服務(wù)體系可以抽象出許多數(shù)據(jù)庫(kù)實(shí)例，主要用來(lái)做接口兼容與轉(zhuǎn)換。在分享中，許建輝提到，如果需要PostgreSQL，就可以創(chuàng)建PostgreSQL數(shù)據(jù)庫(kù)實(shí)例，S3也是如此。對(duì)每個(gè)實(shí)例來(lái)說(shuō)，底層在一個(gè)分布式數(shù)據(jù)庫(kù)上所承載的物理機(jī)數(shù)量，上層并不 “關(guān)心”；從數(shù)據(jù)彈性擴(kuò)張上來(lái)說(shuō)也完全沒(méi)有限制。還有一點(diǎn)，在微服務(wù)的發(fā)展過(guò)程中，在數(shù)據(jù)訪問(wèn)方面，同一份數(shù)據(jù)的不同業(yè)務(wù)模型其訪問(wèn)能力是有差異的。

目前巨杉數(shù)據(jù)庫(kù)主要面對(duì)三大業(yè)務(wù)場(chǎng)景，第一是聯(lián)機(jī)交易，替換傳統(tǒng)數(shù)據(jù)庫(kù)，例如MySQL、PostgreSQL、DB2等，可以進(jìn)行交易場(chǎng)景的處理，讓接口完全兼容等；第二就是數(shù)據(jù)中臺(tái)，將每一部分業(yè)務(wù)分享出的數(shù)據(jù)進(jìn)行統(tǒng)一管理，主要以大并發(fā)的讀寫(xiě)為主；此外局勢(shì)內(nèi)容管理了，比方說(shuō)數(shù)據(jù)分片能力、水平擴(kuò)張以及彈性伸縮等分區(qū)操作。

談及MySQL接口的兼容，巨杉數(shù)據(jù)庫(kù)可以百分百兼容MySQL數(shù)據(jù)庫(kù)和PostgreSQL數(shù)據(jù)庫(kù)。從兼容層面來(lái)講，首先涉及到語(yǔ)法的兼容，其中包括語(yǔ)法庫(kù)的兼容；其次是通訊協(xié)議，不僅可以做到應(yīng)用接口的兼容，還要保證體系工具方向，例如第三方MySQL有很多監(jiān)控、管理和解析分析能力，必然要保證整個(gè)體系可以使用；再次就是訪問(wèn)計(jì)劃，要對(duì)訪問(wèn)計(jì)劃進(jìn)行兼容，其中包括統(tǒng)計(jì)信息的收集、訪問(wèn)結(jié)構(gòu)等。

分布式數(shù)據(jù)庫(kù)智能運(yùn)營(yíng)平臺(tái)—TDSQL扁鵲的架構(gòu)實(shí)現(xiàn)與實(shí)踐

會(huì)上，騰訊TDSQL智能運(yùn)營(yíng)平臺(tái)負(fù)責(zé)人趙東志也應(yīng)邀來(lái)到現(xiàn)場(chǎng)，從云數(shù)據(jù)庫(kù)以及分布式數(shù)據(jù)庫(kù)更細(xì)化的運(yùn)維場(chǎng)景出發(fā)并積極探索。在“分布式數(shù)據(jù)庫(kù)智能運(yùn)營(yíng)平臺(tái)—TDSQL扁鵲的架構(gòu)實(shí)現(xiàn)與實(shí)踐”中，我們初步了解到，TDSQL是騰訊金融云針對(duì)金融場(chǎng)景推出的高一致性分布式數(shù)據(jù)庫(kù)，基于MySQL基礎(chǔ)上進(jìn)行的二次開(kāi)發(fā)；目前在騰訊內(nèi)部涉及 到 90%的金融和交易，一般情況下交易類(lèi)型不允許丟數(shù)據(jù)，所以騰訊海量數(shù)據(jù)體制要求其具備足夠的擴(kuò)展能力等。

“我們針對(duì)數(shù)據(jù)庫(kù)云化的痛點(diǎn)構(gòu)建了扁鵲平臺(tái)，目的很明確，就是希望這個(gè)平臺(tái)在數(shù)據(jù)庫(kù)出現(xiàn)故障時(shí)可以告訴我們?cè)撛趺唇鉀Q；如果沒(méi)有出現(xiàn)故障，是否可以通過(guò)一些有效的巡檢方式來(lái)評(píng)估 出現(xiàn)在數(shù)據(jù)庫(kù)中的潛在風(fēng)險(xiǎn)等?？傊辛诉@樣一個(gè)平臺(tái)可以讓我們將多年的運(yùn)維經(jīng)驗(yàn)沉淀到體系中，一定程度上減緩重復(fù)勞動(dòng)的消耗。”趙東志總結(jié)道。

如今數(shù)據(jù)庫(kù)確實(shí)面臨很多問(wèn)題，可以大致區(qū)分為可用性問(wèn)題、性能問(wèn)題以及可靠性問(wèn)題等。TDSQL作為金融級(jí)數(shù)據(jù)庫(kù)，有高可用的配置，例如在每個(gè)實(shí)例上都會(huì)模擬Agent，定期向DB實(shí)例中插入數(shù)據(jù)；此外切換本身對(duì)數(shù)據(jù)是無(wú)損的，但在金融場(chǎng)景中并不希望有過(guò)多的切換，主要是因?yàn)闀r(shí)間上的影響。更加常見(jiàn)的、用戶自身對(duì)數(shù)據(jù)庫(kù)的用法不太合理所導(dǎo)致的問(wèn)題，一方面是InnoDB并發(fā)線程的問(wèn)題，另外一方面是Binlog的問(wèn)題。

對(duì)此他認(rèn)為：“如果用戶有大量慢查詢，他們就會(huì)長(zhǎng)期循環(huán)占用工作線程，結(jié)果會(huì)導(dǎo)致阻塞到InnoDB。如果用戶有大量，例如并發(fā)執(zhí)行100個(gè)會(huì)話，也會(huì)有問(wèn)題出現(xiàn)；眾所周知，MySQL金融場(chǎng)景要求Binlog，數(shù)據(jù)寫(xiě)入之前，Binlog做主備同步，相當(dāng)于Binlog和InnoDB要一致，Binlog負(fù)責(zé)主備同步關(guān)系。我一直覺(jué)得任何一個(gè)數(shù)據(jù)庫(kù)無(wú)法完美應(yīng)用各種場(chǎng)景，都有最大的適用范圍。如果想更高效發(fā)揮數(shù)據(jù)庫(kù)的能力，就要遵守?cái)?shù)據(jù)庫(kù)的規(guī)則?！?/p>

分布式搜索和分析引擎—阿里云Elasticsearch架構(gòu)設(shè)計(jì)與演進(jìn)

“談到Elasticsearch，大家會(huì)想到ELK，這是比較流行的組合。Elasticsearch是基于Lucene的開(kāi)源分布式搜索和分析引擎，可以根據(jù)Logstash做數(shù)據(jù)過(guò)濾、修改和收集，其中Kibana主要用于數(shù)據(jù)展示和報(bào)表。此外做日志分析的企業(yè)用Elasticsearch也比較多，還 有些客戶可能會(huì)去做指標(biāo)數(shù)據(jù)的分析或者安全類(lèi)應(yīng)用的分析?！卑⒗锇桶退阉骷夹g(shù)專家歐陽(yáng)楚才在“分布式搜索和分析引擎—阿里云Elasticsearch架構(gòu)設(shè)計(jì)與演進(jìn)”的主題中說(shuō)。

據(jù)了解，Elasticsearch用Java語(yǔ)言開(kāi)發(fā)，而使用Java語(yǔ)言都會(huì)遇到內(nèi)存垃圾回收的問(wèn)題。這樣就導(dǎo)致如果應(yīng)用并發(fā)量特別高，每一個(gè)請(qǐng)求都會(huì)占用一定的內(nèi)存，如果Java虛擬機(jī)處理不及時(shí)，很有可能會(huì)導(dǎo)致JVM虛擬機(jī)的宕機(jī)。

2019年4月，Elasticsearch發(fā)布7.0版本加并入了Top K排序，7.0版本后，Elasticsearch本身會(huì)監(jiān)測(cè)實(shí)際請(qǐng)求的使用量并配置熔斷，例如查詢請(qǐng)求對(duì)JVM使用內(nèi)存超過(guò)40%則直接停止請(qǐng)求等。經(jīng)常在關(guān)系型數(shù)據(jù)庫(kù)中做查詢或比較耗時(shí)的請(qǐng)求，可能會(huì)把數(shù)據(jù)庫(kù)“拖慢”。如果可以提前識(shí)別出這樣的請(qǐng)求，提前中斷，就可以高效保證其他請(qǐng)求正常運(yùn)行。伴隨技術(shù)迭代與升級(jí)，在7.1版本里，Elasticsearch公司把商業(yè)版特性、安全特性開(kāi)始免費(fèi)，而這個(gè)特性特別有用，因?yàn)樵瓉?lái)開(kāi)源版本沒(méi)有賬號(hào)密碼和認(rèn)證，這個(gè)版本后把賬號(hào)密碼安全認(rèn)證功能免費(fèi)使用起來(lái)。

歐陽(yáng)楚才還補(bǔ)充道，Elasticsearch本身可從一個(gè)節(jié)點(diǎn)擴(kuò)展到上百個(gè)節(jié)點(diǎn)，最開(kāi)始開(kāi)發(fā)自測(cè)階段可以在本機(jī)搭建單節(jié)點(diǎn)集群并完成數(shù)據(jù)的寫(xiě)入和查詢，且推送到生產(chǎn)環(huán)境，通常會(huì)按角色拆分不同角色的節(jié)點(diǎn)，分別負(fù)責(zé)不同的功能模塊。更重要的是，Elasticsearch有Master節(jié)點(diǎn)，負(fù)責(zé)集群元數(shù)據(jù)信息的管理、索引的分片管理；DataNode節(jié)點(diǎn)主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和查詢；還有一個(gè)節(jié)點(diǎn)類(lèi)型叫做客戶端節(jié)點(diǎn)或者協(xié)調(diào)服務(wù)器節(jié)點(diǎn)，負(fù)責(zé)接收用戶的查詢請(qǐng)求，把查詢和寫(xiě)入請(qǐng)求分發(fā)給數(shù)據(jù)節(jié)點(diǎn)。

阿里云從2017年開(kāi)始與Elasticsearch合作，把Elasticsearch搬到阿里云上提供托管式服務(wù)，針對(duì)寫(xiě)入、查詢做了性能上的調(diào)優(yōu)。如今，阿里云Elasticsearch規(guī)模有超過(guò)3000個(gè)集群，節(jié)點(diǎn)數(shù)超過(guò)1萬(wàn) ，存儲(chǔ)數(shù)量超過(guò)5PB，其最重要的工作是保證數(shù)據(jù)安全?！皩?duì)此我們?cè)谕饷婕恿艘粚覺(jué)-pack安全認(rèn)證，必須創(chuàng)建用戶名密碼，通過(guò)用戶名密碼實(shí)現(xiàn)訪問(wèn)，另外還可以配置IP段來(lái)訪問(wèn)Elasticsearch服務(wù)，避免******?！?/p>

有時(shí)候，很多用戶自己搭建Elasticsearch時(shí)會(huì)遇到一些問(wèn)題，尤其是新手部署集群時(shí)沒(méi)有專門(mén)配置專有主節(jié)點(diǎn)，導(dǎo)致集群里的節(jié)點(diǎn)通訊出現(xiàn)問(wèn)題等。他提出，在阿里云上，一般推薦專門(mén)配置三個(gè)專有主節(jié)點(diǎn)來(lái)負(fù)責(zé)數(shù)據(jù)管理和分片管理。當(dāng)然不排除有一些金融行業(yè)客戶對(duì)數(shù)據(jù)的安全要求特別高，要求多個(gè)機(jī)房上任意一個(gè)機(jī)房掉電或者光纖被挖斷的情況下，服務(wù)都可以做到高可用。在易用性方面，阿里云支持X-pack、監(jiān)控告警、機(jī)器學(xué)習(xí)等功能?！肮芾鞥lasticsearch集群實(shí)例比較方便，可以自定義安裝自研或者開(kāi)源的插件，也可以用自研的分詞。阿里云的安全團(tuán)隊(duì)在Kibana上做了很多定制化開(kāi)發(fā)，方便用戶使用?！?/p>

“在Elasticsearch內(nèi)核方面我們做了很多工作，支持分布式存儲(chǔ)讀寫(xiě)。在軟件層面，我們團(tuán)隊(duì)有工程師專門(mén)研究Elasticsearch索引分片機(jī)制，讓所有分片可以彈性擴(kuò)建或者縮容?；贓lasticsearch做的應(yīng)用案例，眾安保險(xiǎn)在今年四月份Elasticsearch發(fā)布會(huì)上介紹過(guò)他們?cè)诎⒗镌粕鲜褂肊lasticsearch的經(jīng)驗(yàn)等?！?/p>

SequoiaDB分布式集群生態(tài)工具及容器化部署實(shí)戰(zhàn)

技術(shù)分享逐漸接近尾聲，巨杉技術(shù)社區(qū)杜蓉帶來(lái)“SequoiaDB分布式集群生態(tài)工具及容器化部署實(shí)戰(zhàn)”的演講。她提出，巨杉數(shù)據(jù)庫(kù)生態(tài)工具中，一種是管理工具，另一種是數(shù)據(jù)備份、遷移、導(dǎo)入工具。支持MySQL Workbench，以及很多MySQL周邊的工具。像Workbench一樣，可以查到它對(duì)應(yīng)的表；可以通過(guò)圖形化進(jìn)行監(jiān)控，也可以通過(guò)工具對(duì)集群的系統(tǒng)信息進(jìn)行批量修改。

此外關(guān)于備份，分別涉及到數(shù)據(jù)庫(kù)集的備份、集群級(jí)備份和文件系統(tǒng)級(jí)備份三種。所謂集群級(jí)備份，設(shè)有集群備份的指令，根據(jù)指令選擇全量備份還是增量備份；此外集群級(jí)備份的數(shù)據(jù)量比較大。復(fù)制方面，異步復(fù)制比較簡(jiǎn)單，支持的實(shí)例比較多，可以用MySQL、DB2、Informix、Oracle等，用自身導(dǎo)入到處工具；準(zhǔn)同步復(fù)制，MySQL用自己的工具把日志實(shí)施寫(xiě)入管道中，通過(guò)ApacheStorm做標(biāo)準(zhǔn)化的修改，修改成DML或者DDL命令。

另外，杜蓉還在現(xiàn)場(chǎng)為開(kāi)發(fā)者們列舉了三種安裝數(shù)據(jù)庫(kù)的方式：首先就是安裝包，直接安裝在機(jī)器上；其次就是通過(guò)VMWare導(dǎo)入虛擬機(jī)鏡像；另外就是Docker鏡像等。

一鍵直達(dá)：巨杉Tech | SequoiaDB Docker鏡像使用教程

盡管針對(duì)云時(shí)代的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)與演進(jìn)精彩技術(shù)分享已暫時(shí)告一段落，但關(guān)于面對(duì)業(yè)務(wù)及應(yīng)用的“云原生化”，數(shù)據(jù)庫(kù)技術(shù)究竟面臨了怎樣的挑戰(zhàn)及發(fā)展趨勢(shì)的系列問(wèn)題探討依舊在火熱進(jìn)行中，敬請(qǐng)繼續(xù)關(guān)注巨杉TechDay技術(shù)沙龍的后續(xù)活動(dòng)。