[問題] 推薦系統除了預先準備結果有更好的方法嗎

看板DataScience作者del680202 (HANA)時間6年前 (2018/04/01 19:49)推噓7(7推 0噓 11→)

留言18則, 6人參與討論串1/2 (看更多)

不確定這個版適不適合問這問題想了下應該還算跟機器學習相關就決定PO這裡了最近在研究怎麼作個人化的推薦系統目前看到的流程大致分成蒐集user/item清單 -> 建模 -> 打分 -> 排序 -> 儲存到某個DB給人呼叫也就是預先作好推薦清單然後給人使用之後就是一個建立一個batch定期更新這個清單建模方法目前常看到的就相似度計算/MF/FM等等當user/item清單非常龐大的時候這是一個很重的作業產出的結果檔案也很龐大想問問推薦系統的結果交付除了像這樣預先做出推薦清單之外其他還有什麼好的交付方式嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.199.17.235 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522583359.A.12B.html

推

lucien0410

04/02 01:30, 6年前 , 1^F

04/02 01:30, 1^F

推

Wush978

04/02 22:51, 6年前 , 2^F

04/02 22:51, 2^F

有想過使用可以即時運算的模型還沒試過不知道效果如何之前有想過作成real time預測的形式，預想問題大概就是item很多每次用SGD更新後都要重頭打分在排序後輸出可能效能不會很好不過這也只是自己在猜測而已

推

minikai

04/02 23:23, 6年前 , 3^F

04/02 23:23, 3^F

→

minikai

04/02 23:23, 6年前 , 4^F

04/02 23:23, 4^F

嗯...治標不治本我現在的環境就是spark 使用100個worker去跑MF 1000萬使用者base，從建模到輸出結果要幾個小時光是輸出結果檔這個動作都很花時間

推

yogi

04/03 09:28, 6年前 , 5^F

04/03 09:28, 5^F

→

yogi

04/03 09:28, 6年前 , 6^F

04/03 09:28, 6^F

→

yogi

04/03 09:36, 6年前 , 7^F

04/03 09:36, 7^F

→

yogi

04/03 09:37, 6年前 , 8^F

04/03 09:37, 8^F

後來跟一個朋友聊天他也是說用降維來輔助另外準備一個real time更新用的矩陣也就是把batch跑的矩陣跟real time的矩陣ensemble後作real time預測這招還在研究中麻煩的可能還是在於item多的時候，想到還要重新排序就感覺有盲點 ※ 編輯: del680202 (61.199.17.235), 04/03/2018 20:06:36

推

bruce3557

04/11 17:37, 6年前 , 9^F

04/11 17:37, 9^F

推

chaselsu

04/17 13:30, 6年前 , 10^F

04/17 13:30, 10^F

→

chaselsu

04/17 13:31, 6年前 , 11^F

04/17 13:31, 11^F