推薦系統(tǒng)的常用指標(biāo)

在互聯(lián)網(wǎng)行業(yè)中，用戶在某段時(shí)間內(nèi)開(kāi)始使用應(yīng)用，經(jīng)過(guò)一段時(shí)間后，仍然繼續(xù)使用應(yīng)用的被認(rèn)作是留存；這部分用戶占當(dāng)時(shí)新增用戶的比例即是留存率，會(huì)按照每隔1單位時(shí)間（例日、周、月）來(lái)進(jìn)行統(tǒng)計(jì)。顧名思義，留存指的就是“有多少用戶留下來(lái)了”。留存用戶和留存率體現(xiàn)了應(yīng)用的質(zhì)量和保留用戶的能力。 留存率=登錄用戶數(shù)/新增用戶數(shù)*100%（一般統(tǒng)計(jì)周期為天） 新增用戶數(shù)：在當(dāng)前時(shí)間段新注冊(cè)登錄應(yīng)用的用戶數(shù)； 登錄用戶數(shù)：在當(dāng)前時(shí)間段至少登錄過(guò)一次的用戶數(shù)； 活躍用戶數(shù)：登錄用戶數(shù)-新增用戶數(shù)； 次日留存率：（當(dāng)天新增的用戶數(shù)，在第2天還登錄的用戶數(shù)）/當(dāng)天新增的用戶數(shù)； 第3日留存率：（當(dāng)天新增的用戶數(shù)，在往后的第3天還有登錄的用戶數(shù)）/當(dāng)天新增的用戶數(shù)； 第7日留存率：（當(dāng)天新增的用戶數(shù)，在往后的第7天還有登錄的用戶數(shù)）/當(dāng)天新增的用戶數(shù)； 第30日留存率：（當(dāng)天新增的用戶數(shù)，在往后的第30天還有登錄的用戶數(shù)）/當(dāng)天新增的用戶數(shù)。

AUC

AUC定義為ROC曲線下方的面積,ROC曲線的橫坐標(biāo)為假陽(yáng)性(判為正的負(fù)樣本數(shù)/真實(shí)負(fù)樣本數(shù)) 、縱坐標(biāo)為真陽(yáng)性(判為正的正樣本數(shù)/真實(shí)正樣本數(shù)) 。AUC值越大，當(dāng)前分類算法越有可能將正樣本排在負(fù)樣本前面，從而能夠更好地分類。

Hit Ratio(HR)

在top-K推薦中，HR是一種常用的衡量召回率的指標(biāo)。例子，三個(gè)用戶在測(cè)試集中的商品個(gè)數(shù)分別是10，12，8，模型得到的top-10推薦列表中，分別有6個(gè)，5個(gè)，4個(gè)在測(cè)試集中，那么此時(shí)HR的值是 (6+5+4)/(10+12+8) = 0.5

Mean Average Precision(MAP)

在了解 MAP(Mean Average Precision) 之前，先來(lái)看一下 AP(Average Precision), 即為平均準(zhǔn)確率。

對(duì)于AP可以用這種方式理解: 假使當(dāng)我們使用google搜索某個(gè)關(guān)鍵詞，返回了10個(gè)結(jié)果。當(dāng)然最好的情況是這10個(gè)結(jié)果都是我們想要的相關(guān)信息。但是假如只有部分是相關(guān)的，比如5個(gè)，那么這5個(gè)結(jié)果如果被顯示的比較靠前也是一個(gè)相對(duì)不錯(cuò)的結(jié)果。但是如果這個(gè)5個(gè)相關(guān)信息從第6個(gè)返回結(jié)果才開(kāi)始出現(xiàn)，那么這種情況便是比較差的。這便是AP所反映的指標(biāo)，與recall的概念有些類似，不過(guò)是**“順序敏感的recall”** 。 具體求解：

假設(shè)有兩個(gè)查詢，查詢1有4個(gè)相關(guān)文檔，查詢2有5個(gè)相關(guān)文檔。某系統(tǒng)對(duì)查詢1檢索出4個(gè)相關(guān)文檔，其rank分別為1,2,4,7；對(duì)于查詢2檢索出3個(gè)相關(guān)文檔，其rank分別為1,3,5。

對(duì)于查詢1，AP平均正確率為:(1/1+2/2+3/4+4/7)/4=0.83

對(duì)于查詢2，AP平均正確率為:(1/1+2/3+3/5)/5=0.45

則平均正確率均值為:(0.83+0.45)/2=0.64

Normalized Discounted Cummulative Gain(NDCG)

在了解 MAP(Mean Average Precision) 之前，先來(lái)看一下 AP(Average Precision), 即為平均準(zhǔn)確率。

對(duì)于AP可以用這種方式理解: 假使當(dāng)我們使用google搜索某個(gè)關(guān)鍵詞，返回了10個(gè)結(jié)果。當(dāng)然最好的情況是這10個(gè)結(jié)果都是我們想要的相關(guān)信息。但是假如只有部分是相關(guān)的，比如5個(gè)，那么這5個(gè)結(jié)果如果被顯示的比較靠前也是一個(gè)相對(duì)不錯(cuò)的結(jié)果。但是如果這個(gè)5個(gè)相關(guān)信息從第6個(gè)返回結(jié)果才開(kāi)始出現(xiàn)，那么這種情況便是比較差的。這便是AP所反映的指標(biāo)，與recall的概念有些類似，不過(guò)是“順序敏感的recall”。

用一個(gè)例子來(lái)解釋AP的計(jì)算過(guò)程：

因此該 user 的 AP 為 (1 + 0.66 + 0.5) / 3 = 0.72

5. Normalized Discounted Cummulative Gain(NDCG)

對(duì)于NDCG，我們需要一步步揭開(kāi)其神秘的面紗，先從CG說(shuō)起：

CG:

我們先從 CG(Cummulative Gain) 說(shuō)起, 直接翻譯的話叫做“累計(jì)增益”。 在推薦系統(tǒng)中，CG 即將每個(gè)推薦結(jié)果相關(guān)性 (relevance) 的分值累加后作為整個(gè)推薦列表 (list) 的得分。

DCG:

CG 的一個(gè)缺點(diǎn)是沒(méi)有考慮每個(gè)推薦結(jié)果處于不同位置對(duì)整個(gè)推薦效果的影響，例如我們總是希望相關(guān)性高的結(jié)果應(yīng)排在前面。顯然，如果相關(guān)性低的結(jié)果排在靠前的位置會(huì)嚴(yán)重影響用戶體驗(yàn)， 所以在 CG 的基礎(chǔ)上引入位置影響因素，即 DCG(Discounted Cummulative Gain), “Discounted” 有打折，折扣的意思，這里指的是對(duì)于排名靠后推薦結(jié)果的推薦效果進(jìn)行“打折處理”。

1）推薦結(jié)果的相關(guān)性越大，DCG越大。

2）相關(guān)性好的排在推薦列表的前面的話，推薦效果越好，DCG越大。

NDCG

DCG仍然有其局限之處，即不同的推薦列表之間，很難進(jìn)行橫向的評(píng)估。**而我們?cè)u(píng)估一個(gè)推薦系統(tǒng)，不可能僅使用一個(gè)用戶的推薦列表及相應(yīng)結(jié)果進(jìn)行評(píng)估， 而是對(duì)整個(gè)測(cè)試集中的用戶及其推薦列表結(jié)果進(jìn)行評(píng)估。 那么不同用戶的推薦列表的評(píng)估分?jǐn)?shù)就需要進(jìn)行歸一化，也即 NDCG(Normalized Discounted Cummulative Gain)。

在介紹 NDCG 之前，還需要了解一個(gè)概念：IDCG. IDCG, 即 Ideal DCG， 指推薦系統(tǒng)為某一用戶返回的最好推薦結(jié)果列表， 即假設(shè)返回結(jié)果按照相關(guān)性排序， 最相關(guān)的結(jié)果放在最前面， 此序列的 DCG 為 IDCG。因此 DCG 的值介于 (0,IDCG] ，故 NDCG 的值介于 (0,1]。

NDCG 的完整案例：

假設(shè)在Baidu搜索到一個(gè)詞，得到5個(gè)結(jié)果。我們對(duì)這些結(jié)果進(jìn)行3個(gè)等級(jí)的分區(qū)，對(duì)應(yīng)的分值分別是3、2、1，等級(jí)越高，表示相關(guān)性越高。假設(shè)這5個(gè)結(jié)果的分值分別是3、1、2、3、2。

因此CG的計(jì)算結(jié)果為3+1+2+3+2 = 11。DCG的值為6.69，具體見(jiàn)下表：

因此，DCG 的結(jié)果是 6.6967;

理想狀況下，我們的IDCG排序結(jié)果的相關(guān)性應(yīng)該是3，3，2，2，1，其中 IDCG 的計(jì)算過(guò)程如下：

因此 IDCG 為 7.14(具體過(guò)程不再給出)，因此NDCG結(jié)果為6.69/7.14 = 0.94。

6. Mean Reciprocal Rank (MRR)

是一個(gè)國(guó)際上通用的對(duì)搜索算法進(jìn)行評(píng)價(jià)的機(jī)制，即第一個(gè)結(jié)果匹配，分?jǐn)?shù)為1，第二個(gè)匹配分?jǐn)?shù)為0.5，第n個(gè)匹配分?jǐn)?shù)為1/n，如果沒(méi)有匹配的句子分?jǐn)?shù)為0。最終的分?jǐn)?shù)為所有得分之和。

推薦系統(tǒng) 機(jī)器學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。