[問題] 如何從Mutual Information推導到loss fun

看板DataScience作者 (中立評論員)時間3年前 (2020/12/26 22:22), 編輯推噓2(204)
留言6則, 3人參與, 4年前最新討論串1/1
近期Contrastive learning的loss function 基本上都是源自approximate estimate的 mutual information, 但是不論從Deep InfoMax,InfoNCE, 都和Mutual Information的樣子差很多 有沒有Step by Step的推導過程 謝謝大家幫忙 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.17.100 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1608992550.A.3B0.html

12/31 23:13, 3年前 , 1F
可以參考on variations bounds of mutual information
12/31 23:13, 1F

12/31 23:16, 3年前 , 2F
*variational 自動選字來亂
12/31 23:16, 2F

01/02 13:25, 4年前 , 3F
好謝謝 我來看一下 式子好像有點多
01/02 13:25, 3F

01/06 00:19, 4年前 , 4F
關鍵字:mutual information neural estimation,其實就
01/06 00:19, 4F

01/06 00:20, 4年前 , 5F
是轉化成找MI的上下界的問題,透過學習一個function逼
01/06 00:20, 5F

01/06 00:20, 4年前 , 6F
近下界
01/06 00:20, 6F
文章代碼(AID): #1VvqScEm (DataScience)
文章代碼(AID): #1VvqScEm (DataScience)