小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

從搭建到上線僅10天,效率提升超30%

 wuhancar 2019-12-19
InfoQ:請問您對技術(shù)中臺和業(yè)務(wù)中臺是如何理解的?

張時駿: 自從馬云的“大中臺、小前臺”口號問世,業(yè)界各公司都紛紛響應(yīng),搭建起了各種各樣的中臺。但中臺到底是什么,大家并沒有一個完全統(tǒng)一的定義,大致的邊界在于快速變化的前臺和繁重的后臺之前搭建起一座橋梁,使中臺通過一些通用的功能來快速為新的前臺業(yè)務(wù)提供支持,尤其是在瞬息萬變的互聯(lián)網(wǎng)行業(yè)提供快速試錯快速決策的關(guān)鍵能力,以提高公司執(zhí)行效率。我個人所理解的中臺大致分為業(yè)務(wù)中臺和數(shù)據(jù)中臺這兩大部分。業(yè)務(wù)中臺以提供通用的業(yè)務(wù)能力為主,例如最經(jīng)典的電商中臺,可以把商品、庫存、用戶、訂單等系統(tǒng)都囊括在內(nèi),提供完整的電商業(yè)務(wù)能力,還有推薦中臺、搜索中臺等也都是提供某一業(yè)務(wù)能力的中臺。數(shù)據(jù)中臺則是整合散落在各處的數(shù)據(jù),經(jīng)過分析處理提煉,提供給前臺能直接能使用的業(yè)務(wù)數(shù)據(jù),例如用戶畫像數(shù)據(jù),可以把用戶在不同業(yè)務(wù)中的行為數(shù)據(jù)全都整合到一起,幫助新業(yè)務(wù)能更精準(zhǔn)刻畫用戶。對于技術(shù)中臺來說,更像是提供一些與業(yè)務(wù)無關(guān)的通用技術(shù)能力,比如提供大數(shù)據(jù)處理能力,大數(shù)據(jù)存儲能力,數(shù)據(jù)中間件能力,但正因為這些通用技術(shù)能力與具體業(yè)務(wù)無關(guān),前臺很難通過一個技術(shù)中臺來實現(xiàn)一個業(yè)務(wù),那這個技術(shù)中臺是不是還能稱為一個中臺也是值得商榷的。

InfoQ:如何看待中臺與平臺之間的關(guān)系?

張時駿: 在我看來,平臺是一個更寬泛的、可大可小的概念,中臺是一種特殊形式的平臺。還是拿剛才的電商來舉例,如果說電商中臺,那么很明顯它不會把前臺后臺包括在內(nèi),而如果說電商平臺,那么它是把前后臺全都包括在內(nèi)的,這是個大的概念。反過來說,電商里的一個子模塊也可以成為一個平臺,比如訂單平臺、商品平臺,那么這相對于電商中臺又是個小的概念。還有些剛才說到的與業(yè)務(wù)無關(guān)的通用技術(shù)能力可以稱之為平臺,例如大數(shù)據(jù)處理平臺、數(shù)據(jù)存儲平臺,這些都是偏底層提供基礎(chǔ)服務(wù)的平臺,很多業(yè)務(wù)中臺和數(shù)據(jù)中臺都是基于基礎(chǔ)服務(wù)平臺之上架構(gòu)的。

InfoQ:愛奇藝是從什么時候開始做中臺的?為什么要做中臺,在做中臺之前如果要支持新業(yè)務(wù)是什么樣子的?

張時駿: 愛奇藝是從 2018 年下半年開始規(guī)劃做推薦中臺的。因為在做推薦中臺之前,有很多業(yè)務(wù)方想要對接推薦系統(tǒng),但推薦團(tuán)隊人力資源有限,只能滿足一部分業(yè)務(wù)需求。對于能滿足的部分業(yè)務(wù),推薦團(tuán)隊就需要從頭搭一套針對業(yè)務(wù)的推薦系統(tǒng),耗費不少人力。對于無法及時支持的業(yè)務(wù),很多業(yè)務(wù)團(tuán)隊就只能自己去搭建一套推薦系統(tǒng)。但業(yè)務(wù)團(tuán)隊本身的強(qiáng)項在業(yè)務(wù)開發(fā)上,對推薦系統(tǒng)的了解不是特別深,而且能投入的人力也有限,最終推薦效果不是很好,也浪費了公司人力資源,所以推薦團(tuán)隊就開始規(guī)劃實現(xiàn)推薦中臺,讓各個業(yè)務(wù)前臺都能簡單方便接入推薦中臺,快速實現(xiàn)業(yè)務(wù)需求。

InfoQ:愛奇藝的推薦中臺是如何推動的,組織架構(gòu)方面是否有做一些配合調(diào)整?在團(tuán)隊建設(shè)上,有哪些新增的要求?

張時駿: 我們單獨成立了推薦中臺的團(tuán)隊來推動愛奇藝推薦中臺工作的開展,然后在公司內(nèi)部的一些場合為其他團(tuán)隊介紹了推薦中臺的工作進(jìn)展,歡迎各個業(yè)務(wù)團(tuán)隊來接入推薦中臺。在業(yè)務(wù)接入推薦中臺的過程中,遇到一些新的問題或者不支持的功能,反過來又推動推薦中臺進(jìn)一步的發(fā)展。在團(tuán)隊建設(shè)上,基本上和之前的要求都一樣,只是因為推薦中臺會接入各種不同的業(yè)務(wù),需要盡量通用化,對整體架構(gòu)設(shè)計能力和大局觀有了更高的要求。

InfoQ:一個推薦中臺完整的(技術(shù)分層)體系是什么樣的?

張時駿: 一個推薦中臺在底層需要有內(nèi)容生產(chǎn)平臺、內(nèi)容數(shù)據(jù)倉庫、用戶行為日志平臺、數(shù)據(jù)處理平臺、數(shù)據(jù)存儲平臺、機(jī)器學(xué)習(xí)平臺、數(shù)據(jù)分析平臺等基礎(chǔ)服務(wù)平臺的支撐,自身的體系內(nèi)需要包括以下幾部分:推薦內(nèi)容池、用戶行為采集、特征工程、用戶畫像、召回算法倉庫、排序算法倉庫、線上引擎、分析報表、配置平臺。推薦內(nèi)容池根據(jù)業(yè)務(wù)需求從內(nèi)容數(shù)據(jù)倉庫中篩選出適合進(jìn)推薦池的內(nèi)容,為下游模塊提供基礎(chǔ)數(shù)據(jù)。用戶行為采集從用戶行為日志平臺中篩選出符合業(yè)務(wù)條件的用戶行為,并且將不同業(yè)務(wù)不同格式的用戶行為日志轉(zhuǎn)換成統(tǒng)一日志格式,為下游模塊屏蔽業(yè)務(wù)復(fù)雜度。特征工程根據(jù)推薦內(nèi)容池內(nèi)推薦實體的 meta 信息生產(chǎn) meta 特征,根據(jù)用戶行為數(shù)據(jù)生產(chǎn)用戶側(cè)和推薦實體側(cè)的統(tǒng)計特征。用戶畫像采集了用戶年齡、性別、職業(yè)等靜態(tài)畫像和根據(jù)行為日志計算用戶對推薦實體、標(biāo)簽、主題等維度的興趣畫像。召回算法倉庫和排序算法倉庫預(yù)定義常用的召回和排序算法,統(tǒng)一輸入輸出格式,方便靈活切換各種算法。線上引擎提供根據(jù)算法數(shù)據(jù)進(jìn)行在線計算提供線上接口服務(wù),并且支持對各種策略的配置及 AB 實驗。分析報表根據(jù)推薦后的用戶行為數(shù)據(jù)分析推薦效果,為后續(xù)的迭代優(yōu)化提供數(shù)據(jù)指導(dǎo)。配置平臺方便前臺業(yè)務(wù)能夠通過簡單配置快速接入推薦中臺,提升效率。

InfoQ:是否有實際案例說明推薦中臺能提高前臺研發(fā)效率,快速實現(xiàn)自身業(yè)務(wù)目標(biāo)的?

張時駿: 在有推薦中臺之前,要支持一個新業(yè)務(wù)的推薦,通常需要按周來排期,并且需要安排大量人力 100% 專注在新業(yè)務(wù)上。在我們搭建起推薦中臺之后,某個業(yè)務(wù)有個圖文信息流產(chǎn)品想要接入推薦中臺來優(yōu)化推薦效果,我們只需要簡單確認(rèn)一下推薦內(nèi)容池的選取規(guī)則和用戶行為日志規(guī)范,接下來就是配置和執(zhí)行任務(wù),每個模塊只要 1-2 天就能完成,其中大部分時間還都是在等待算法任務(wù)生產(chǎn)數(shù)據(jù),消耗的人力微乎其微。最后整個項目從開始到上線只花了 10 天時間,并且上線后效果提升了 30% 以上,快速實現(xiàn)了業(yè)務(wù)方的目標(biāo)。

InfoQ:在切換為中臺過程中,有碰到什么問題和經(jīng)驗分享嗎?

張時駿: 切換推薦中臺的過程中,遇到了不少問題和挑戰(zhàn),最主要的一點是 通用性的設(shè)計和開發(fā)。不同的業(yè)務(wù)接入推薦中臺有不同的推薦實體、不同的用戶行為日志規(guī)范和不同的需求,如何能夠通過一套推薦中臺來接入所有的這些業(yè)務(wù)對于我們來說是一個最大的問題。對于不同的推薦實體我們要求業(yè)務(wù)方接入公司統(tǒng)一的數(shù)據(jù)倉庫,推薦中臺抽象提煉出各種實體通用的字段,再通過可配置化的字段映射表,把不同業(yè)務(wù)的不同推薦實體都統(tǒng)一到一張實體表上來。對于不同的用戶行為日志規(guī)范,推薦中臺定義了一套中臺用戶行為日志規(guī)范,對于公司內(nèi)部主流的一些投遞規(guī)范,推薦中臺可以自動轉(zhuǎn)換,對于不滿足要求的用戶行為日志,則需要業(yè)務(wù)方經(jīng)過轉(zhuǎn)換之后才能接入中臺。在輸入數(shù)據(jù)統(tǒng)一規(guī)范之后,內(nèi)部流程的通用化就比較簡單,整個中臺不太需要關(guān)心業(yè)務(wù)的具體細(xì)節(jié),對于推薦內(nèi)容池的選取規(guī)則、特征計算方式、召回排序模型的選取和調(diào)參、多樣性控制策略等都可以通過配置來實現(xiàn)各個業(yè)務(wù)的差異化。

InfoQ:愛奇藝推薦中臺未來有何演進(jìn)計劃?

張時駿: 愛奇藝推薦中臺還剛剛起步,正在實踐中探索和總結(jié),有很多不完善的地方需要改進(jìn)。推薦中臺的目標(biāo)始終是要讓前臺業(yè)務(wù)能夠快速高效實現(xiàn)業(yè)務(wù)目標(biāo),所以有 2 方面的工作需要不斷進(jìn)行優(yōu)化。一個是提升對接效率,雖然有了推薦中臺之后相比以前有了很大的效率提升,但還是有很大的提升空間,我們計劃能把對接過程盡量自動化,省去目前還存在的一些人工配置環(huán)節(jié)。另一個是提升推薦效果,業(yè)務(wù)接入推薦中臺之后并不是結(jié)束,而是一個新的開始,我們計劃把推薦中臺自營業(yè)務(wù)上的一些優(yōu)化成果和業(yè)內(nèi)一些最新的推薦算法都應(yīng)用到推薦中臺上,讓所有的業(yè)務(wù)方都能享受到推薦效果提升的福利。

采訪嘉賓介紹

張時駿,現(xiàn)任愛奇藝高級技術(shù)經(jīng)理。畢業(yè)于上海交通大學(xué)計算機(jī)系,現(xiàn)任愛奇藝高級技術(shù)經(jīng)理一職,愛奇藝推薦中臺的總架構(gòu)師。在愛奇藝從事推薦引擎架構(gòu)和開發(fā)工作,近幾年專注于分布式高并發(fā)線上引擎的架構(gòu),搭建了熱點信息流、小視頻信息流等推薦引擎。目前正在致力于愛奇藝推薦中臺的建設(shè),旨在幫助公司內(nèi)各業(yè)務(wù)團(tuán)隊能夠以低成本、高效率、高產(chǎn)出的方式搭建出一套完整的推薦服務(wù)及其周邊配套設(shè)施,快速實現(xiàn)業(yè)務(wù)目標(biāo)。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多