|
內(nèi)容來源:2018 年 5 月 19 日,閱文集團(tuán)高級開發(fā)工程師梁晨在“PHPCon China 2018 技術(shù)峰會”進(jìn)行《TARS-PHP:PHP構(gòu)建高性能RPC框架》演講分享。IT 大咖說(微信id:itdakashuo)作為獨(dú)家視頻合作方,經(jīng)主辦方和講者審閱授權(quán)發(fā)布。 閱讀字?jǐn)?shù):3570 | 9分鐘閱讀 摘要 本次分享將介紹高性能RPC框架TARS的基本設(shè)計(jì)思想,以及在PHP語言和框架層面的TARS解決方案的設(shè)計(jì)與實(shí)現(xiàn)。以閱文集團(tuán)的實(shí)踐為例,介紹使用TARS-PHP進(jìn)行服務(wù)治理以及SWOOLE2.0+PHP7+TARS架構(gòu)所帶來的開發(fā)、運(yùn)維、性能的全面提升。 獲取嘉賓演講視頻及PPT,掃一掃下方二維碼即可。 TARS TARS是包含運(yùn)營、平臺、通信框架、公共組件、統(tǒng)一協(xié)議的整套解決方案。上圖是TARS的最新界面,分為服務(wù)管理和運(yùn)維管理兩部分,服務(wù)管理能夠輕易的管理各種不同的服務(wù),運(yùn)維管理可以進(jìn)行部署服務(wù)、擴(kuò)展以及新建模板管理。這些都是TARS的運(yùn)營和平臺的能力,除此之外它還內(nèi)置了很多公共組件,以服務(wù)的方式提供,包含常見的配置中心、日志中心、通知中心、特性上報(bào)以及主控等等。 TRAS 協(xié)議 TARS使用了一套二進(jìn)制的協(xié)議,與語言無關(guān)有自己的獨(dú)立語法。上面是協(xié)議的基本樣式,其中自定了兩個(gè)結(jié)構(gòu)體LoginInfo和ProfileInfo,結(jié)構(gòu)體內(nèi)部可以隨意的組合多個(gè)基礎(chǔ)類型。下方的interface聲明的是真正要調(diào)用的接口,它會用到上方定義的結(jié)構(gòu),參數(shù)列表中的out關(guān)鍵字標(biāo)明了輸出Info。這樣我們就有了一份約定的接口文件,之后可以通過工具將它轉(zhuǎn)化為實(shí)際使用的代碼,從而方便開發(fā)。 除了二進(jìn)制協(xié)議之外,我們還設(shè)計(jì)了一套通信的協(xié)議,包含協(xié)議版本、請求ID、服務(wù)器路由信息、接口信息、二進(jìn)制數(shù)據(jù)包。 總的來說TARS是一整套微服務(wù)解決方案。微服務(wù)方面包括服務(wù)自動發(fā)現(xiàn)、智能調(diào)度、容災(zāi)容錯(cuò)、柔性熔斷、路由與灰度。協(xié)議上即支持私有二進(jìn)制協(xié)議,也可以通過啟動HTTP服務(wù)來支持json的協(xié)議。目前TARS對多語言已經(jīng)有了很好的支持,同時(shí)也兼容一些非常利于使用的運(yùn)維體系。 TARS PHP 要設(shè)計(jì)一套TARS PHP方案首先要滿足幾點(diǎn)要求。第一必須要功能完善,能夠?qū)?biāo)現(xiàn)有C++、Java、NodeJS體系功能;第二要保持整個(gè)方案的靈活使用,讓更多的人能夠利用它;第三要是輕量級的設(shè)計(jì),做到點(diǎn)到為止,即插即用;最后是能帶來高效的性能。 上圖為整體方案的構(gòu)成,主要分為4塊。第一塊是TARS client,因?yàn)槲覀冏畛醯男枨笫怯肞HP接入到現(xiàn)有C++、Java的TARS服務(wù)。第二塊是TARS Server,這里我們希望能夠盡量的滿足大家的需求,讓一些常見的Server能夠三合一,同時(shí)保持靈活和輕量。第三塊是為了能夠提升性能做的TARS EXT擴(kuò)展,主要負(fù)責(zé)底層二進(jìn)制的解包打包工作。第四塊是開發(fā)效率,TARS體系中基本上針對每種語言都會有相應(yīng)的不管是客戶端還服務(wù)端的自動生成工具。 TARS client TARS client現(xiàn)在具備了以上的這些功能。自動尋址讓你無需關(guān)系服務(wù)地址,只需知道服務(wù)的名字,我們每個(gè)服務(wù)都有App name和Server name以及主控,通過主控就能夠知道服務(wù)的具體位置。主調(diào)上報(bào)是指所有的服務(wù)運(yùn)行情況都由client上報(bào),這樣在Server界面中就能一覽服務(wù)的所有情況。我們也提供了遠(yuǎn)程日志的能力,而且是只發(fā)不收的形式。接著是3種不同的發(fā)送服務(wù)的能力,分別是socket的接入方式,swoole同步,以及swoole協(xié)程 。 以上是TARS client的整體結(jié)構(gòu)圖。中間為client的Server,它依賴于PHP擴(kuò)展,左邊是三種訪問方式,右邊是各種服務(wù)。每次請求的時(shí)候會先調(diào)用一次主控服務(wù)將列表緩存起來,一般緩存在swoole table或本地文件中。服務(wù)啟動的時(shí)候會有定時(shí)時(shí)間用來決定服務(wù)何時(shí)過期。獲取到地址之后進(jìn)行RPC請求,請求完成后做一次主調(diào)上報(bào),上報(bào)范圍包括耗時(shí)、失敗率、超時(shí)率等,如果有需要的話也可以寫些遠(yuǎn)程日志。 TARS client 擴(kuò)展 PHP擴(kuò)展的主要是用來保證高性能和穩(wěn)定。由于二進(jìn)制協(xié)議的字符串操作涉及到很多的內(nèi)存的拷貝和分配,所以我們最初的方案是使用C實(shí)現(xiàn),但后來發(fā)現(xiàn)了這種方案有些短板。最終為了性能的考慮引入了PHP擴(kuò)展,同時(shí)將打包解包與編解碼進(jìn)行集成,降低PHP調(diào)用API的次數(shù)。穩(wěn)定性方面是在每次提交代碼的時(shí)候,做多版本構(gòu)建測試,根據(jù)我們線上使用的經(jīng)驗(yàn),還增加了Valgrind內(nèi)存測試,目前的代碼測試覆蓋率基本上達(dá)到80%。 通過上圖的數(shù)據(jù)對比,可以很清楚的看出PHP擴(kuò)展帶來的優(yōu)勢。 TARS Server Apache加PHP可能是大家較熟悉的傳統(tǒng)PHP Server模式,后來隨著Nginx的火熱出現(xiàn)了Nginx配合PHP-FPM的形式。不過鑒于性能的優(yōu)勢我們之后轉(zhuǎn)向了swoole,隨著swoole 2.0的推出又帶來了協(xié)程的能力。 我們的Server中包含TARS-HTTP-Server、TARS-TIMER-Server、TARS-TCP-Server。HTTP Server提供一些基礎(chǔ)的功能,TIMER Server會做一些定時(shí)任務(wù),TCP Server是為了提供一個(gè)高性能的RPC服務(wù)。 Server啟動的時(shí)候會進(jìn)行初始化,解析平臺下發(fā)的配置以及注冊服務(wù),之后會每隔1分鐘向主控進(jìn)行一次上報(bào)告知存活,如果發(fā)現(xiàn)有問題主控會重新將服務(wù)拉起了。TARS也支持在平臺中建立配置下發(fā)到各種服務(wù)中,服務(wù)會自動向TARS Config拉取配置。 TARS TCP Server可以用swoole 1.0和2.0中的任意版本,不過PHP版本必須要求是5.6以上。它在配置方面非常靈活,既可以將swoole的配置通過平臺下發(fā)到服務(wù)上,也可以指定服務(wù)入口。核心實(shí)現(xiàn)是基于注解路由,TARS在收到請求的時(shí)候會接收到一個(gè)包,包中包含調(diào)用的服務(wù)和接口信息,Server在知道這些信息之后會將需要用到的參數(shù)通過預(yù)先生成的方式放在注解中,服務(wù)啟動時(shí)會解析這些注解轉(zhuǎn)換成PHP真正調(diào)用的數(shù)組方式。同時(shí)我們還提供了一個(gè)管理端口,需要額外啟動,用來接收平臺的一些其他管理請求。 對于TARS HTTP Server我們僅實(shí)現(xiàn)了個(gè)相對簡單的版本,提供各種基礎(chǔ)功能,包括GET/POST請求、Cookie/Status返回、基本路由、文件上傳以及Service Detect。 上圖是我們通過壓測獲得一些數(shù)據(jù)。 開發(fā)效率 開發(fā)效率一直都是TARS需要關(guān)注的問題。從開發(fā)模式來看,首先Server會約定一個(gè)協(xié)議表明本次服務(wù)需要提供的接口并生成文件,即圖中的TARS文件。然后TARS2PHP工具會根據(jù)該文件生成服務(wù)端接口代碼和客戶端調(diào)用代碼,之后服務(wù)端會根據(jù)接口代碼來實(shí)現(xiàn)實(shí)際業(yè)務(wù)邏輯,最后兩邊就可以聯(lián)調(diào)了。整個(gè)過程都是解耦的并且不需要花費(fèi)過多時(shí)間進(jìn)行client調(diào)用。 TARS PHP 在閱文 這里主要介紹下TARS PHP在閱文的應(yīng)用。首先是接入層,它使用的是Nginx配合斯巴達(dá)(TARS在我們內(nèi)部的系統(tǒng)),通過斯巴達(dá)系統(tǒng)能夠很輕易的實(shí)現(xiàn)無縫擴(kuò)容。為了實(shí)現(xiàn)前后端的解耦我們還引入了TARS Node HTTP,將所有的模板渲染都沉淀都nodeJS層。Nginx的AJAX請求之后會到達(dá)TARS PHP HTTP,這一層的業(yè)務(wù)并發(fā)在實(shí)際場景中大概是2千左右。再往下是微服務(wù)層,我們使用PHP、JAVA做了一些TARS的TCP微服務(wù),它與HTTP的交互是基于TCP異步加協(xié)程的方案。 從實(shí)際數(shù)據(jù)來看,目前我們模板拼接的Node HTTP服務(wù)大概有十多個(gè),邏輯API層PHP服務(wù)與定時(shí)服務(wù)有40多個(gè),后臺TCP服務(wù)有100多個(gè),每個(gè)調(diào)用是億級以上。 模塊化設(shè)計(jì) 上圖是目前TARS PHP支持的模塊,這些模塊都可以單獨(dú)的使用。Tars server提供了最基本的HTTP、TCP等服務(wù),tars client可以調(diào)用其他tars服務(wù)。tars monitor的監(jiān)控上報(bào)包含主調(diào)上報(bào)和特性上報(bào)。Tars registry模塊可以讓開發(fā)者通過主控通信的方式對地址進(jìn)行緩存。Tars report的引入讓開發(fā)者能很方便的將自己的框架引入到平臺上,而不使用我們提供的框架。 以上為今天的全部分享內(nèi)容,謝謝大家! IT大咖說 |關(guān)于版權(quán) 感謝您對IT大咖說的熱心支持! |
|
|