youtube召回邏輯是怎樣的

youtube召回邏輯

 

上圖是整個架構(gòu)中的候選集生成模塊, 也就是召回模塊。

下面的這些embedding直接連起來, 效果, 不怎么好, 感覺只能做base line

example age是當前訓(xùn)練時間-日志時間, 由于某個視頻的熱度并不是均勻分布在時間線上的, 加上這個特征可以讓分布盡量的與真實的保持一致, 很有意思的一點, 但是原因我沒想太明白。

之后就是三層Relu, 最后輸出一個vector,  假設(shè)為 20x1的embedding,  最后輸出的這個就是 user embedding, 之后softmax然后ANN進行最近鄰檢索就行。

怎么做KNN召回的?

問題來了, 為什么能拿這個DNN最后生成的user embeding 去召回, 進行ANN的Item Embedding從哪里來的?  以及ANN的時候用的是哪個距離?

首先, 對于某一個輸入的user embedding, 判斷此條件對某個item到底點不點, 可以理解為一個多分類問題, 即一個item就是一個分類,  假設(shè)視頻個數(shù)為200w, 那么其實就是使用softmax判斷 20維度的user embedding 到底會落在 200w中的哪一個。

所以, softmax會生成一個200w x 20 的denser, 那么每一個item就是一個 20x1的embedding, 用以表明item的embeding

再看一下softmax的公式, 那就是user embedding 與 item embedding, 然后加和求處理求最大, 但是由于在線上服務(wù)的時候不可能直接softmax算一遍, 由于softmax的特性, 只需要求兩個embedding內(nèi)積最大的那些來召回即可。

所以最后的item embedding為softmax產(chǎn)生的, 由于是一個softmax多分類問題, 所以需要在KNN的時候，求內(nèi)積最大來實現(xiàn),

實現(xiàn)

具體實現(xiàn)可以采用Faiss, 創(chuàng)建IndexIVFFlat索引, 相似度方法采用  faiss.METRIC_INNER_PRODUCT, 把200w的item embedding放進去, 線上服務(wù)的時候那個三層模型實時反饋生成user embedding, 然后在faiss中做KNN