PTT數位生活區 / DataScience

[問題] 如何從Mutual Information推導到loss fun

看板DataScience作者 (中立評論員)時間3年前 (2020/12/26 22:22), 編輯推噓2(2推 0噓 4→)
留言6則, 3人參與, 4年前最新討論串1/1
近期Contrastive learning的loss function 基本上都是源自approximate estimate的 mutual information， 但是不論從Deep InfoMax，InfoNCE， 都和Mutual Information的樣子差很多 有沒有Step by Step的推導過程 謝謝大家幫忙 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.17.100 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1608992550.A.3B0.html
推
12/31 23:13, 3年前 , 1F
可以參考on variations bounds of mutual information
12/31 23:13, 1F
→
12/31 23:16, 3年前 , 2F
*variational 自動選字來亂
12/31 23:16, 2F
→
01/02 13:25, 4年前 , 3F
好謝謝 我來看一下 式子好像有點多
01/02 13:25, 3F
推
01/06 00:19, 4年前 , 4F
關鍵字：mutual information neural estimation，其實就
01/06 00:19, 4F
→
01/06 00:20, 4年前 , 5F
是轉化成找MI的上下界的問題，透過學習一個function逼
01/06 00:20, 5F
→
01/06 00:20, 4年前 , 6F
近下界
01/06 00:20, 6F
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VvqScEm (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VvqScEm (DataScience)