本文內(nèi)容來(lái)自神策數(shù)據(jù)《智能推薦——應(yīng)用場(chǎng)景與技術(shù)難點(diǎn)剖析》閉門會(huì)分享內(nèi)容整理，分享者為神策數(shù)據(jù)算法專家胡士文，分享主題為《推薦系統(tǒng)的實(shí)踐與思考》，前面我們介紹了算法和數(shù)據(jù)部分（PPT 下載 | 神策數(shù)據(jù)算法專家：推薦系統(tǒng)的實(shí)踐與思考（上）），本篇文章將繼續(xù)介紹推薦系統(tǒng)的在線服務(wù)和評(píng)估方法。

在解決了算法和數(shù)據(jù)層面的問(wèn)題之后，我們需要構(gòu)建一個(gè)推薦系統(tǒng)的在線服務(wù)，用來(lái)響應(yīng)用戶的推薦請(qǐng)求。假設(shè)企業(yè)初期的 DAU 是 10 萬(wàn)，當(dāng) DAU 漲到一百萬(wàn)的時(shí)候，希望能夠通過(guò)增加機(jī)器的形式，解決服務(wù)性能響應(yīng)的問(wèn)題。如果每當(dāng) DAU 擴(kuò)大時(shí)就要去重構(gòu)推薦服務(wù)的話，代價(jià)實(shí)在太大，所以我們希望我們的推薦服務(wù)具備高可擴(kuò)展性。

另外一些常見(jiàn)的需求是：如何實(shí)現(xiàn)高維向量的查詢和計(jì)算？如何滿足不同場(chǎng)景時(shí)效性不同的需求？監(jiān)控和報(bào)警怎么做……

盡管深度學(xué)習(xí)的模型復(fù)雜、效果又好，但哪怕把模型訓(xùn)練出來(lái)之后，等過(guò)渡到在線服務(wù)時(shí)還是會(huì)遇到很大的挑戰(zhàn)。今天我就幾個(gè)實(shí)踐問(wèn)題在這里跟大家做一些分享。

1.如何做高維的向量查詢？

舉個(gè)例子。假設(shè)目前有 10 萬(wàn)個(gè)商品，每一個(gè)商品擁有一個(gè)向量的話，就會(huì)有 10 萬(wàn)個(gè)向量，當(dāng)用戶來(lái)到后，一個(gè)用戶對(duì)應(yīng)一個(gè)向量，這個(gè)時(shí)候我們需要在這 10 萬(wàn)個(gè)項(xiàng)目里面去查找到跟這一個(gè)用戶向量最匹配的 100 個(gè)或者 500 個(gè)向量。同時(shí)還要保證在足夠短的時(shí)間之內(nèi)（10-20 毫秒）將向量找出，所以在響應(yīng)時(shí)間的層面還面臨著較大的挑戰(zhàn)。

我們的解決方案是運(yùn)用一個(gè)叫做 Faiss 的工具，它可以解決大規(guī)模的向量的相似度查找問(wèn)題，且最大可支持 10 億規(guī)模的內(nèi)容空間。簡(jiǎn)而言之，當(dāng)我們有 10 億商品的時(shí)候，仍可以用此組件去做基于向量的相似度查找。

2.如何讓推薦系統(tǒng)的在線服務(wù)具備高可擴(kuò)展性？

我一直在強(qiáng)調(diào)，我希望我們的可擴(kuò)展性是水平的，流量上來(lái)之后，僅通過(guò)加機(jī)器的方式就能解決服務(wù)的壓力。我們的思路是，把在線服務(wù)分為三組：在線存儲(chǔ)、在線服務(wù)群、模型服務(wù)群。

我們把模型服務(wù)和在線服務(wù)做一些邏輯上的解耦，從而保證整個(gè)架構(gòu)在可擴(kuò)展性上是水平的，這樣既可去單加模型服務(wù)也可以去單加在線服務(wù)，解決服務(wù)器上的壓力。

3.不同場(chǎng)景下不同的時(shí)效性，該如何支持？

我作為一個(gè)技術(shù)的人員，在做 Feed 流時(shí)經(jīng)常會(huì)接到產(chǎn)品經(jīng)理如下的需求，比如，需要在綜合頻道推薦最近 3 天的文章，最近 7 天的視頻；歷史頻道的數(shù)據(jù)量對(duì)時(shí)效性要求沒(méi)那么高，需要推薦近 30 天的文章和最近 60 天的視頻；相關(guān)文章中要求推薦最近 7 天的文章，相關(guān)視頻中推薦近 30 天的視頻。

這些需求嚴(yán)格上來(lái)說(shuō)是非常合理的，因?yàn)檫@是基于產(chǎn)品本身以及用戶對(duì)于此產(chǎn)品的訴求，但這些需求其實(shí)會(huì)給推薦系統(tǒng)帶來(lái)很大的問(wèn)題。

我們簡(jiǎn)單來(lái)計(jì)算一下場(chǎng)景數(shù)量。

產(chǎn)品經(jīng)理需要我們支持文章推薦和視頻推薦兩種類型，同時(shí)還要分成不同的頻道，而綜合頻道和其他小頻道所涵蓋的內(nèi)容和范圍又不一樣，小頻道少則十幾個(gè)，匹配上兩種架構(gòu)類型，大概 2×10=20 份數(shù)據(jù)，再加上相關(guān)文件的推薦，可能會(huì)產(chǎn)生 40 份數(shù)據(jù)。

為了支持不同的時(shí)效性，我就需要維護(hù) 40 套不同的數(shù)據(jù)，在推薦系統(tǒng)里面維護(hù) 40 套數(shù)據(jù)意味著維護(hù)成本和出錯(cuò)的風(fēng)險(xiǎn)都相當(dāng)大。40 套數(shù)據(jù)，可能擁有 40 條邏輯，40 個(gè)數(shù)據(jù)流，一旦發(fā)生人員變動(dòng)，對(duì)于接手的人員來(lái)說(shuō)簡(jiǎn)直噩夢(mèng)。

所以我們?cè)谡w的架構(gòu)中，會(huì)去為不同場(chǎng)景、不同時(shí)效性設(shè)計(jì)一整套的工具和流程來(lái)解決諸如此類的問(wèn)題，這可以使我們的線上管理較為簡(jiǎn)潔，不會(huì)出錯(cuò)但又非常靈活，即使有其他的時(shí)效性需求時(shí)，也能很容易地加入。

評(píng)估一個(gè)推薦系統(tǒng)，會(huì)涉及到一些常用指標(biāo)：點(diǎn)擊率、點(diǎn)擊人數(shù)比、人均點(diǎn)擊次數(shù)、留存率、轉(zhuǎn)化率等。

1. 點(diǎn)擊人數(shù)比

指點(diǎn)擊的人數(shù)除以推薦的曝光人數(shù)，這是一個(gè)用來(lái)衡量推薦系統(tǒng)觸達(dá)率的一個(gè)重要指標(biāo)。在評(píng)估一個(gè)模型效果時(shí)，可能點(diǎn)擊率上漲，但點(diǎn)擊人數(shù)比并沒(méi)有變化，這說(shuō)明推薦結(jié)果只對(duì)于部分老用戶產(chǎn)生比較好的效果，對(duì)于觸達(dá)不到的用戶，仍然沒(méi)有成功吸引他們來(lái)使用我們的推薦系統(tǒng)，所以點(diǎn)擊人數(shù)比與點(diǎn)擊率是對(duì)推薦系統(tǒng)在不同方面的評(píng)估。

2. 人均點(diǎn)擊次數(shù)

指每個(gè)人在推薦系統(tǒng)里面平均每天點(diǎn)擊了多少次。人均點(diǎn)擊次數(shù)是需要大家持續(xù)去關(guān)注的指標(biāo)，因?yàn)檫@個(gè)指標(biāo)真正體現(xiàn)出用戶在這款產(chǎn)品中的使用深度。

3. 留存率和轉(zhuǎn)化率

留存率和轉(zhuǎn)化率實(shí)際上來(lái)說(shuō)對(duì)于推薦系統(tǒng)來(lái)說(shuō)，可能并不是一個(gè)那么直接的指標(biāo)，比如推薦對(duì)留存的影響到底有多大，很大程度上決定于不同的產(chǎn)品形態(tài)，但它仍是我們?nèi)ピu(píng)估推薦系統(tǒng)的一個(gè)指標(biāo)，至少我們需要知道此次推薦系統(tǒng)的迭代到底對(duì)于留存率的影響有多大，如果迭代后的留存率下降，即使點(diǎn)擊率和點(diǎn)擊人數(shù)比都在上升，可能這一次迭代仍不能上線，因?yàn)樗绊懥肆舸娴闹笜?biāo)。

還有一些方面，其實(shí)在之前的文章中神策數(shù)據(jù) VP 張濤：個(gè)性化推薦從入門到精通（附推薦產(chǎn)品經(jīng)理修煉秘籍）已經(jīng)跟大家提到過(guò)。

時(shí)效性。如果我們?cè)谧鲆粋€(gè)新聞產(chǎn)品的推薦系統(tǒng)，那么給用戶推薦的內(nèi)容就應(yīng)該是實(shí)時(shí)的，而不是上周發(fā)生的事情。

多樣性。多樣性其實(shí)是容易被忽視的一個(gè)指標(biāo)，因?yàn)槿绻蛔非蠖鄻有缘脑?，點(diǎn)擊率的數(shù)據(jù)會(huì)好看一點(diǎn)。

不知道大家有沒(méi)有這樣的體驗(yàn)，如果你對(duì)體育內(nèi)容感興趣，慢慢的你所有的推薦內(nèi)容都變成了體育相關(guān)，似乎很難看到其他內(nèi)容，推薦的內(nèi)容越來(lái)越窄。短期來(lái)說(shuō)，提升多樣性可能會(huì)讓點(diǎn)擊率有一些損失，但是長(zhǎng)期來(lái)說(shuō)，多樣性是為了提升整個(gè)產(chǎn)品用戶體驗(yàn)所做的一種優(yōu)化，這里需要考慮長(zhǎng)期和短期的權(quán)衡。

穩(wěn)定性。如果服務(wù)器經(jīng)常掛掉，或者說(shuō)響應(yīng)時(shí)間總是五秒鐘，這樣的服務(wù)基本上是不可用的，我們一定要站在服務(wù)的角度去評(píng)估我們的推薦系統(tǒng)。

覆蓋率。覆蓋率指能夠推薦出來(lái)足夠多的長(zhǎng)尾內(nèi)容，一個(gè) UGC 平臺(tái)，需要去鼓勵(lì)一些用戶讓他們來(lái)生成內(nèi)容，即使是一些很小的用戶，即使沒(méi)有粉絲，我也希望他的內(nèi)容可以有一些曝光，有曝光就會(huì)有人去點(diǎn)贊，久而久之會(huì)形成一種良性循環(huán)。

如果平臺(tái)總是分發(fā)一些大 V 的內(nèi)容，平臺(tái)里小白用戶的使用和體驗(yàn)就會(huì)變得非常糟糕，慢慢的就沒(méi)有這些小的內(nèi)容窗口了，平臺(tái)將被大 V 占領(lǐng)，所以覆蓋率也是一個(gè)推薦系統(tǒng)需要考慮的指標(biāo)。

至于具體需要去考慮哪些指標(biāo)，以及怎么去制定這些指標(biāo)，我覺(jué)得要根據(jù)不同的產(chǎn)品形態(tài)以及產(chǎn)品不同的階段而定。

那么面對(duì)這些指標(biāo)，我們有給力的分析工具去支持我做這件事情嗎？比如我想對(duì)比推薦系統(tǒng)的轉(zhuǎn)化率和另外一個(gè) banner 的轉(zhuǎn)化率區(qū)別的時(shí)候，我們的分析工具具備這種能力嗎？

在我的日常工作中，是依據(jù)神策分析去做整個(gè)轉(zhuǎn)化率漏斗分析，以及留存分析等。留存分析其實(shí)是一種比較復(fù)雜的分析方法，它強(qiáng)調(diào)的維度比較多，它可能要從各個(gè)時(shí)間段以及各個(gè)條件去分析用戶的留存行為。

如果想要去分析推薦效果對(duì)于留存的影響，可以直接在神策分析中去做留存率的分析。

另外，跟大家分享一些關(guān)于迭代的思路。

以下圖為例，我們分析推薦系統(tǒng)在 12 月 18 號(hào)新增用戶上的不同表現(xiàn)。

我們想知道，對(duì)于新用戶和老用戶而言，推薦系統(tǒng)的這次迭代表現(xiàn)究竟如何。

從圖中可知，新用戶在第二天有一個(gè)明顯的提升，但是老用戶并沒(méi)有。說(shuō)明這一次模型的上線對(duì)于新用戶而言效果是較好的，我們要進(jìn)一步去分析——為什么會(huì)對(duì)新用戶的效果提升明顯而對(duì)老用戶沒(méi)什么效果。

可能是因?yàn)槭褂玫臄?shù)據(jù)采樣方式對(duì)于新用戶更加有利，或者是因?yàn)閷?duì)于新用戶的特征反饋比較及時(shí)，而對(duì)老用戶的一些長(zhǎng)期特征做了一些不太合適的處理方式等等，都有可能。

所以，實(shí)現(xiàn)一個(gè)好用的推薦系統(tǒng)，可能面臨這幾方面的挑戰(zhàn)：

第一，數(shù)據(jù)獲取和處理質(zhì)量，就是我前面提到的如何做數(shù)據(jù)的采集，以及如何做特征工程。

第二，將算法跟業(yè)務(wù)結(jié)合，我們?cè)趺慈ド钊氲乩斫鈽I(yè)務(wù)場(chǎng)景，以及去選擇合適的算法方案。

第三，構(gòu)建推薦系統(tǒng)和評(píng)價(jià)體系，以及如何去解決在線服務(wù)這部分的挑戰(zhàn)。

第四，成本控制，當(dāng)我們?nèi)念^構(gòu)建算法、數(shù)據(jù)、在線服務(wù)以及評(píng)估方法這幾個(gè)方面的事情時(shí)，人力和時(shí)間都會(huì)耗費(fèi)相當(dāng)大的成本。

最后回答演講剛開(kāi)始時(shí)大家問(wèn)我的一個(gè)問(wèn)題——如何搭建一個(gè)閉環(huán)，讓其流程化體系化。其實(shí)就是神策智能推薦系統(tǒng)的核心優(yōu)勢(shì)——全流程、實(shí)時(shí)、可快速迭代的推薦閉環(huán)。

通過(guò)我的分享，大家也可以看到我們?cè)趯?shí)際構(gòu)建一個(gè)推薦系統(tǒng)時(shí)，會(huì)遇到各種各樣的問(wèn)題，基于之前的經(jīng)驗(yàn)，數(shù)據(jù)質(zhì)量是非常需要注意的一部分。它包括全端采集數(shù)據(jù)、數(shù)據(jù)處理和建模、標(biāo)簽體系和用戶畫(huà)像建立。

接著，當(dāng)我們有了數(shù)據(jù)后我們就去構(gòu)建算法，我們擁有豐富的算法建模經(jīng)驗(yàn)，并且數(shù)據(jù)基于神策分析，擁有實(shí)時(shí)數(shù)據(jù)反饋和快速的建模能力。

在算法生效之后，我們會(huì)對(duì)結(jié)果進(jìn)行多維的驗(yàn)證分析，一方面我們要對(duì)于本次的推薦效果有一個(gè)認(rèn)知，另外一方面要明白后續(xù)將如何改進(jìn)。同時(shí)，在我們提供的解決方案里，還有兩個(gè)比較重要的環(huán)節(jié)。

第一，神策數(shù)據(jù)是一家支持私有化部署的公司，所以神策智能推薦系統(tǒng)同樣支持私有化部署，一整套系統(tǒng)都部署在客戶自己的服務(wù)器層。

第二，具有開(kāi)放性。各種中間數(shù)據(jù)和接口客戶都可以自己去調(diào)用，比如我們幫助客戶采集行為數(shù)據(jù)，在構(gòu)建整個(gè)推薦系統(tǒng)時(shí)所生成的各種用戶畫(huà)像和模型結(jié)果，以及內(nèi)容分析的一些結(jié)果，還有各個(gè)階段產(chǎn)生的一些模型方法，客戶都可以去調(diào)動(dòng)。神策數(shù)據(jù)的解決方案是一個(gè)開(kāi)放性的白盒，從實(shí)驗(yàn)設(shè)計(jì)，到數(shù)據(jù)的采集，到中間的特征工程，到模型構(gòu)建，到最終推薦結(jié)果，里面的數(shù)據(jù)和接口都可供客戶訪問(wèn)和查看。

最后，我想強(qiáng)調(diào)兩點(diǎn)內(nèi)容：

第一，推薦系統(tǒng)不只是算法，它是一個(gè)系統(tǒng)工程，算法只占四個(gè)部分中的一部分，通常我們?nèi)?shí)現(xiàn)一個(gè)推薦系統(tǒng)時(shí)，構(gòu)建算法的時(shí)間通常只占 20% 到 30%。

第二，數(shù)據(jù)先行，數(shù)據(jù)是一切算法的前提，根據(jù)過(guò)去的經(jīng)驗(yàn)總結(jié)，很多時(shí)候真的不是因?yàn)槟Ｐ偷膯?wèn)題，也不是因?yàn)榉?wù)的問(wèn)題，而就是因?yàn)閿?shù)據(jù)沒(méi)有做對(duì)，導(dǎo)致我們推薦系統(tǒng)的效果沒(méi)有那么符合預(yù)期。

以上就是我從多年的工作經(jīng)驗(yàn)和實(shí)踐中總結(jié)出的一些關(guān)于推薦系統(tǒng)的思考，希望能對(duì)大家的工作有所啟發(fā)。