1、 雙活中心一般建議存儲(chǔ)異步還是同步，兩種模式對(duì)于雙中心距離要求為多少？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

結(jié)合非重要業(yè)務(wù)與重要業(yè)務(wù)來(lái)看，不然領(lǐng)導(dǎo)覺(jué)得你是單純談技術(shù)，脫離了實(shí)際。

兩種模式各有特色，性價(jià)比與安全性各有特色。

@summit  某城商行系統(tǒng)架構(gòu)師：

1 、雙活分應(yīng)用級(jí)雙活還是數(shù)據(jù)庫(kù)也實(shí)現(xiàn)雙活，如果是全雙活的話，建議雙中心距離不要超過(guò) 100KM ，保障裸光纖鏈路質(zhì)量不要超過(guò) 5ms 延遲。裸光纖鏈路質(zhì)量是雙活的關(guān)鍵。

2 、如果只是應(yīng)用級(jí)雙活的話，存儲(chǔ)和數(shù)據(jù)庫(kù)的架構(gòu)決定你采用什么樣的復(fù)制關(guān)系。如果采用 ADG ，一般采用最大性能方式，存儲(chǔ)復(fù)制的話一般同步和異步都可以，如果裸光纖質(zhì)量不好就采用異步復(fù)制方式。同步方式如果裸光纖發(fā)生抖動(dòng)可能造成 IO 的短暫 hung ，會(huì)對(duì)業(yè)務(wù)造成影響。3 、存儲(chǔ)復(fù)制異步和同步主要依據(jù)你雙活的實(shí)現(xiàn)方式。

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

存儲(chǔ)雙活有三種塊、文件和對(duì)象。塊和文件雙活都是以數(shù)據(jù)同步為前提的，對(duì)象通常是保證 metadata 的同步，底層文件數(shù)據(jù)做異步傳輸。

同步模式下主要是看業(yè)務(wù)對(duì)延遲的最大容忍度是多少，通常存儲(chǔ)要求往返 5ms 延遲是做塊存儲(chǔ)雙活的底線，距離如果按照光速計(jì)算就很遠(yuǎn)了。實(shí)際距離來(lái)說(shuō)，歐洲有超過(guò) 500km 的 SAN 雙活實(shí)施，國(guó)內(nèi)基本都是 50km 以內(nèi)。主要受制于光纖鏈路的皮質(zhì)，包括跳數(shù)、熔纖的質(zhì)量、光纖的擺放等等。

異步模式下，對(duì)距離理論上沒(méi)有限制，因?yàn)閷?duì)象存儲(chǔ)大多是存放非結(jié)構(gòu)化數(shù)據(jù)，通常數(shù)據(jù)量較大，帶寬需要根據(jù)寫(xiě)入數(shù)據(jù)量的規(guī)模和能夠容忍的 RPO 進(jìn)行計(jì)算。

2、 兩地三中心雙活系統(tǒng)災(zāi)備切換場(chǎng)景和數(shù)據(jù)補(bǔ)錄問(wèn)題？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

數(shù)據(jù)的 RPO0 應(yīng)考慮一份存儲(chǔ)級(jí)別的雙活數(shù)據(jù)，或者異步復(fù)制的數(shù)據(jù)；不能全部依賴數(shù)據(jù)庫(kù)軟件高可用（物理 邏輯冗余）

雙活測(cè)試場(chǎng)景太多了，不同思路不同考慮，運(yùn)營(yíng)商鏈路，單點(diǎn)物理設(shè)備，系統(tǒng)級(jí)別，站點(diǎn)級(jí)別故障都要拉通測(cè)試，（分行、網(wǎng)點(diǎn)部分及全面故障）；應(yīng)用系統(tǒng)分依賴關(guān)系（比如加密平臺(tái)，短信平臺(tái)失效）；還得同時(shí)考慮雙中心故障引起東西流量過(guò)大的風(fēng)險(xiǎn)。

綜合網(wǎng)絡(luò)鏈路；各個(gè)區(qū)域路由；系統(tǒng)隔離級(jí)別；應(yīng)用交付調(diào)度策略，從底層一層一層來(lái)解決吧！這個(gè)太廣泛了，幾句說(shuō)不完。

建議數(shù)據(jù)層：Vplex 雙活存儲(chǔ) OracleExtendRAC ADG ；應(yīng)用 F5 DNS 或者 vsphere 雙活存儲(chǔ) 網(wǎng)絡(luò)大二層；雙活存儲(chǔ)解決了你的數(shù)據(jù)補(bǔ)錄問(wèn)題。

@huawei851120 某農(nóng)信系統(tǒng)工程師：

根據(jù)我們農(nóng)信多年的災(zāi)備建設(shè)和切換經(jīng)驗(yàn)，向您提出一些建議：

1. 災(zāi)備的目的：災(zāi)備的目的不是為了備份，更不是為了實(shí)現(xiàn)技術(shù)上的成就，花這么多的錢根本上是實(shí)現(xiàn)銀行的業(yè)務(wù)連續(xù)性管理目標(biāo)。

2. 雙活的目的：有次我參加一次講座，還沒(méi)講完，有家銀行的領(lǐng)導(dǎo)就問(wèn)我：“ 切換？你們都雙活了還切換個(gè)啥？” 這個(gè)問(wèn)題能代表很多人的疑惑。雙活這個(gè)技術(shù)手段為了實(shí)現(xiàn)的目標(biāo)是更快的恢復(fù)業(yè)務(wù)，也就是說(shuō)為實(shí)現(xiàn)更小的 RTO 和 RPO 而已。冷備切換要 2 個(gè)小時(shí)，雙活只需 10 分鐘。假如你不演練的話，怎么說(shuō)明你的雙活建設(shè)的牛呢？你沒(méi)有在 10 分鐘內(nèi)切換到災(zāi)備接管業(yè)務(wù)，怎么說(shuō)明你們銀行的錢花的值呢？冷備擺在那不是蠻好的嘛，還省錢。您想想是不是？

3. 雙活怎么切：雙活的系統(tǒng)，演練的時(shí)候優(yōu)先切換數(shù)據(jù)庫(kù)，再切換應(yīng)用系統(tǒng)。切換數(shù)據(jù)庫(kù)是重點(diǎn)，如果失敗就不用再往下切換應(yīng)用系統(tǒng)了。Oracle 數(shù)據(jù)庫(kù)的 ADG 切換效率很高，兩三分鐘的事情，但是你們要花 10 分鐘進(jìn)行檢查（檢查工作遠(yuǎn)比調(diào)度切換腳本更重要）。數(shù)據(jù)庫(kù)切換沒(méi)問(wèn)題的話，再用 DNS 切換流量到災(zāi)備中心，生產(chǎn)端的應(yīng)用根本不用停。如果檢查沒(méi)有問(wèn)題的話，就把生產(chǎn)端和災(zāi)備端的應(yīng)用交易日志取下來(lái)，留作監(jiān)管單位來(lái)審計(jì)用。到時(shí)候你可以給他們看看， “ 領(lǐng)導(dǎo)您看，這個(gè)時(shí)候生產(chǎn)端的日志已經(jīng)不滾動(dòng)了，災(zāi)備端的交易日志還在滾動(dòng)，災(zāi)備還在承接業(yè)務(wù)，說(shuō)明我們交易已經(jīng)成功切換到了災(zāi)備中心 ” 。你就這樣講就行了，所以生產(chǎn)端的應(yīng)用你沒(méi)有必要停到，正好用來(lái)做日志對(duì)比說(shuō)明你們的戰(zhàn)果。

4. 數(shù)據(jù)補(bǔ)錄問(wèn)題：我能熟練背誦很多監(jiān)管文件，人行、銀監(jiān)、省金融辦的文件里只是要求我們演練要以真實(shí)業(yè)務(wù)場(chǎng)景為前提進(jìn)行切換（杜絕一些銀行用桌面演練應(yīng)付監(jiān)管審計(jì)），從來(lái)沒(méi)有哪一家監(jiān)管單位要求我們非要做計(jì)劃外的切換。計(jì)劃外的切換，我建議你們千萬(wàn)不要做，就算你想做，你們行長(zhǎng)同意嗎？真出了問(wèn)題，太嚴(yán)重，尤其現(xiàn)在很多交易都是 24 小時(shí)交易，通過(guò)自助設(shè)備接入完成的。如果數(shù)據(jù)真的有損失，后果不堪設(shè)想，補(bǔ)錄非常非常麻煩。

3 、如何降低同城雙活存儲(chǔ)對(duì)廣域網(wǎng)的依賴性？當(dāng)雙活存儲(chǔ)間的廣域網(wǎng)線路抖動(dòng)或者一些鏈路報(bào)錯(cuò)時(shí)，如何排查原因？由于雙活存儲(chǔ)的延時(shí)，如何判斷哪些業(yè)務(wù)支持雙活存儲(chǔ)應(yīng)用環(huán)境？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

第一問(wèn)：雙活存儲(chǔ)主要依賴裸纖 SAN 級(jí)聯(lián)網(wǎng)絡(luò)， 仲裁網(wǎng)依賴 廣域網(wǎng)，也有的雙活仲裁采用 fc 網(wǎng)絡(luò)；仲裁建議部署第三站點(diǎn)來(lái)降低依賴與風(fēng)險(xiǎn)。

第二問(wèn)：廣域網(wǎng)線路抖動(dòng)，也是運(yùn)管上光纖不穩(wěn)定吧；一是采用多級(jí)光纖線路，二是需要 san 交換機(jī)支持 光衰大，不穩(wěn)定時(shí) 自動(dòng)屏蔽；思科的 san 支持。排查原因主要交給網(wǎng)路鏈路監(jiān)控；以及 san FC 監(jiān)控告警；

第三問(wèn)：雙活存儲(chǔ)的延時(shí) 一般 2-3ms 以內(nèi) 業(yè)務(wù)都可用吧， 要是你的

存儲(chǔ)延時(shí)很高，恐怕距離太遠(yuǎn)，或者集成質(zhì)量很差；這種場(chǎng)景一般要避免；既然存儲(chǔ)雙活了。理論業(yè)務(wù)都可以用。

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

DWDM 設(shè)備能夠檢測(cè)到鏈路抖動(dòng)并自動(dòng)報(bào)警。

SAN 光纖交換機(jī)配置 “ Port Fencing ” 功能，自動(dòng)檢測(cè)鏈路抖動(dòng)并關(guān)閉 FC 端口，從而隔離鏈路抖動(dòng)。

IP 網(wǎng)絡(luò)設(shè)備應(yīng)用 “ 快速收斂實(shí)現(xiàn)檢測(cè)（ BFD ） ” 技術(shù)，自動(dòng)檢測(cè)并關(guān)閉抖動(dòng)鏈路口，從而隔離鏈路抖動(dòng)。

存儲(chǔ)虛擬化網(wǎng)關(guān)的 WAN COM I/O 模塊能夠自動(dòng)檢測(cè)鏈路抖動(dòng)并關(guān)閉端口，從而隔離鏈路抖動(dòng)。

4、存儲(chǔ)雙活仲裁架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)有哪些？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

采用第三站點(diǎn)仲裁最佳；方式有 IP 網(wǎng)絡(luò)與 FC 網(wǎng)絡(luò)。

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

主要是兩個(gè)問(wèn)題：

1 、仲裁位置的擺放，最好是第三站點(diǎn)，這在極端故障情況下更能夠最大限度保障存儲(chǔ)可用；

2 、網(wǎng)絡(luò)問(wèn)題，雙活仲裁有些是通過(guò)管理網(wǎng)絡(luò)實(shí)現(xiàn)的，比如 DELLEMC 的雙活，只要 IP 網(wǎng)絡(luò)通就行了，但是有一些是通過(guò)存儲(chǔ)虛擬化的方式來(lái)實(shí)現(xiàn)，這就需要 SAN 網(wǎng)絡(luò)通，當(dāng)然可以采用 IPSAN 的這折中方式，但是從實(shí)際經(jīng)驗(yàn)看，存儲(chǔ)虛擬化方式對(duì)帶寬的需求略大。有客戶處有 DELLEMC 和友商的雙活同時(shí)跑的情況，同樣的帶寬大小， DELLEMC 的雙活仲裁正常進(jìn)行，友商的就不斷報(bào)錯(cuò)，最后通過(guò)升級(jí)帶寬解決了問(wèn)題。

5、存儲(chǔ)雙活如何管控，如何制定匹配制度？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

雙活管理的確是個(gè)難題，我們也存人手不夠，通過(guò)補(bǔ)充對(duì)口技術(shù)人才，執(zhí)行 AB 角互備，數(shù)據(jù)庫(kù)、存儲(chǔ)、主機(jī)、應(yīng)用負(fù)載、網(wǎng)路、安全各司其職；同時(shí)我上了一套容災(zāi)切換軟件專門(mén)解決 oracleExtendRAC 切換及 AIX 個(gè)別應(yīng)用容災(zāi)切換；釋放 DBA 排錯(cuò)壓力，專注監(jiān)控定位，提供指引；

應(yīng)用切換基于 DNS 不需要太多人工干預(yù)；存儲(chǔ)雙活建有第三站點(diǎn)來(lái)保障仲裁；減少疑難場(chǎng)景仲裁人工分析。但也只能僅僅滿足現(xiàn)狀，無(wú)法應(yīng)對(duì)互聯(lián)網(wǎng)金融業(yè)務(wù)發(fā)展，這個(gè)要上 devops ，推行 IAAS 解決方案來(lái)釋放人力壓力

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

災(zāi)備建設(shè)是一個(gè)系統(tǒng)工程，這個(gè)工程中最難的不是技術(shù)問(wèn)題，是管理和溝通問(wèn)題，特別是與非科技背景的高級(jí)別領(lǐng)導(dǎo)展示、解釋的問(wèn)題。

就像您說(shuō)的管理問(wèn)題，很多行采用了類似的技術(shù)架構(gòu)但是采用了不同的管理方法，為什么？因?yàn)槊總€(gè)行的情況都不相同，管理很大程度是跟領(lǐng)導(dǎo)風(fēng)格相掛鉤的，要形成有效的管理不能簡(jiǎn)單看別人穿什么衣服的問(wèn)題，大多數(shù)時(shí)候是需要量體裁衣。這也是為什么很多行在做災(zāi)備咨詢。除了專業(yè)技能，咨詢更多的是幫助溝通。

6、存儲(chǔ)雙活后，備份的數(shù)據(jù)如何有效的開(kāi)展定期的恢復(fù)驗(yàn)證工作？

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

備份和存儲(chǔ)雙活是相輔相成的兩條線，備份數(shù)據(jù)主要是聚焦在邏輯故障的恢復(fù)?；謴?fù)驗(yàn)證需要根據(jù)不同的場(chǎng)景指定不同的應(yīng)對(duì)措施，數(shù)據(jù)庫(kù)可以通過(guò)腳本配合備份軟件拉起驗(yàn)證。非結(jié)構(gòu)化數(shù)只有人去驗(yàn)證。DELLEMC 的 Datadomain 自身具備數(shù)據(jù)有效性的算法，內(nèi)部自動(dòng)檢備份數(shù)據(jù)是否有效。

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

上雙活了，建議配套上備份系統(tǒng)，從備份系統(tǒng)抽取數(shù)據(jù)來(lái)循環(huán)恢復(fù)驗(yàn)證，若沒(méi)有備份系統(tǒng)，我只能告訴你，你們得自己寫(xiě)腳本來(lái)熱備或者冷備，這個(gè)工程太大了，虧人力。我們使用備份系統(tǒng)，然后配置了數(shù)據(jù)庫(kù)自動(dòng)恢復(fù)環(huán)境，一鍵恢復(fù)到驗(yàn)證環(huán)境，虛擬機(jī)及也采用自動(dòng)恢復(fù)，或者立即拉起。大大減少人力，效率大大提高。

7 、 雙活環(huán)境下，銀行夜間批量任務(wù)（含數(shù)據(jù)庫(kù)全表更新步驟）對(duì)交易成功率有較大直接影響，如何調(diào)優(yōu)？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

批量屬于 OLAP 業(yè)務(wù)處理，交易屬于 OLTP 業(yè)務(wù)處理。在跑批期間影響交易，這個(gè)從底層 OS 、 DB 是無(wú)法完美解決，需要軟件的開(kāi)發(fā)來(lái)設(shè)計(jì)，應(yīng)對(duì)高峰的批量業(yè)務(wù)保障業(yè)務(wù)進(jìn)行，很多跑批結(jié)算日是自定義日結(jié)切換時(shí)間，比如核心切換是每天 11 ：30 分，其他業(yè)務(wù)也隨之同步切換日切記賬。通過(guò)應(yīng)用邏輯設(shè)計(jì)來(lái)規(guī)避數(shù)據(jù)表競(jìng)爭(zhēng)，解決表競(jìng)爭(zhēng)就能很好解決交易業(yè)務(wù)問(wèn)題。這個(gè)涉及的業(yè)務(wù)改造就比較大，跑批涉及表可以適當(dāng)引入分區(qū)表適當(dāng)解決表競(jìng)爭(zhēng)。

@呂峰 戴爾科技金融行業(yè)中國(guó)西區(qū)高級(jí)系統(tǒng)工程師：

個(gè)人理解交易成功率降低大概率是數(shù)據(jù)寫(xiě)入出現(xiàn)了問(wèn)題，首先采集數(shù)據(jù)庫(kù)、主機(jī)、網(wǎng)絡(luò)（主要是雙活同步網(wǎng)絡(luò)）和底層存儲(chǔ)的日志，然后分析跑批期間的有沒(méi)有出現(xiàn)資源利用率過(guò)高導(dǎo)致寫(xiě)入受到嚴(yán)重影響的環(huán)節(jié)，具體分析后才能進(jìn)行有效的調(diào)整。

所有的雙活和同步復(fù)制都要求寫(xiě)數(shù)據(jù)在兩個(gè)設(shè)備的一致寫(xiě)入，跑批期間有大量的過(guò)程數(shù)據(jù)寫(xiě)入，都會(huì)面臨比較大的挑戰(zhàn)。我曾經(jīng)碰到過(guò)一家行因?yàn)閺?fù)制鏈路帶寬過(guò)低導(dǎo)致大量 IO 擁塞導(dǎo)致出現(xiàn)問(wèn)題，通過(guò)帶寬擴(kuò)容解決了問(wèn)題。但是，前提還是前面說(shuō)的，找到問(wèn)題的原因才能優(yōu)化。

8 、雙中心二層網(wǎng)絡(luò)必要性？

【問(wèn)題描述】銀行同城應(yīng)用級(jí)災(zāi)備或同城雙活級(jí)災(zāi)備的場(chǎng)景下，在暫時(shí)不考慮多活數(shù)據(jù)中心的前提下，使用網(wǎng)絡(luò)大二層打通的架構(gòu)是否合適？這種場(chǎng)景下網(wǎng)絡(luò)大二層打通是否還是架構(gòu)的趨勢(shì)？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

沒(méi)有全局負(fù)載均衡均衡調(diào)度的話，大二層還是可以的，雙活存儲(chǔ) 大二層 vsphere 虛擬化方案，是一種解決方案。

但是網(wǎng)絡(luò)壓力較大，最好還是建設(shè)居于 DNS 的雙活應(yīng)用調(diào)度。大二層不是趨勢(shì)，是一種解決方案。

9 、如果想實(shí)現(xiàn) oracle 數(shù)據(jù)庫(kù)同城雙活和存儲(chǔ)同城雙活，對(duì) IP 網(wǎng)絡(luò)和 SAN 網(wǎng)絡(luò)有哪些硬性要求？通過(guò)哪些指標(biāo)進(jìn)行評(píng)估？ 

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

存儲(chǔ)同城雙活，硬性要求：1 、建議五大廠商選（推薦帶虛擬網(wǎng)關(guān)方案例如 vplex ）；2、機(jī)房選址不宜過(guò)遠(yuǎn)（ 20KM 以內(nèi)可保證光延時(shí)約 1ms ）；3、建設(shè)需要裸光纖（強(qiáng)烈建議）；4、最好自購(gòu)波分設(shè)備，sSAN 網(wǎng)絡(luò)交換機(jī)帶光衰檢查判斷。

Oracle 數(shù)據(jù)庫(kù)同城雙活，這是個(gè)大難題，主要受限于網(wǎng)絡(luò)延時(shí)要越低越好，數(shù)據(jù)庫(kù) TPS 小可以雙中心并行跑 RAC ， TPS 高的又要雙中心并行跑 RAC 對(duì)環(huán)境極為苛刻（心跳通信壓力很大）這種適合 3-5KM 以內(nèi)（國(guó)外很多這種案例），這種建議選高端成熟解決方案，推薦全閃存。

若建設(shè) ExtendRAC ，實(shí)現(xiàn)主中心 Active ，另一中心 RAC 節(jié)點(diǎn) standby ，這個(gè)是一個(gè)折中選擇方案?？梢员ＷC RPO 為 0 ， RTO 分鐘級(jí)別。

10 、跨中心應(yīng)用雙活 web/app 的具體部署模式？

@bbaimm88 某城商行存儲(chǔ)架構(gòu)師：

你這有 GSLB 實(shí)現(xiàn)跨中心分發(fā)，應(yīng)用減少東西流量，盡量保持都是南北流量。雙中心間減少 web 與 app 的交叉訪問(wèn)。除非系統(tǒng)故障出現(xiàn)?？缰行慕徊嬖L問(wèn)對(duì)跨中心流量堆疊太高，不利于網(wǎng)絡(luò)管理。