PTT數位生活區 / DataScience

[問題] Mutual Information Max. vs Disentangled

看板DataScience作者 (珍惜一分一秒)時間2年前 (2022/12/01 16:23), 2年前編輯推噓0(0推 0噓 15→)
留言15則, 3人參與, 最新討論串1/1
各位前輩: 最近在看 InfoGan (以及 Beta-VAE ) 會提到希望把 Data 的隱變量 (latent representation/variables) 儘量做到 disentangled 這樣可以讓某些特性就用 某個特定維度上的 latent variable來表達 目前看到的方式就是用 Mutual Information Maximization. 不過 我一直找不到 (不理解) 為何 MI Max --> Disentangled representation? 這有直覺上的解釋 或者是有被嚴格證明的? 謝謝各位解惑 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.22.220 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1669883027.A.C18.html ※ 編輯: lifeowner (223.137.22.220 臺灣), 12/01/2022 16:25:03
→
12/01 17:47, 2年前 , 1F
arXiv:1802.04942
12/01 17:47, 1F
→
12/01 17:49, 2年前 , 2F
你的理解中，MI分析的對象是？
12/01 17:49, 2F
Image vs latent code ※ 編輯: lifeowner (223.137.22.220 臺灣), 12/01/2022 18:17:42
→
12/02 14:52, 2年前 , 3F
infogan的思路建立在latent code本身就是distangled
12/02 14:52, 3F
→
12/02 14:54, 2年前 , 4F
然後MI reg的部分則是強迫gan啟用latent code的訊息
12/02 14:54, 4F
→
12/02 15:24, 2年前 , 5F
MI(X, Y) = KL(p(x,y)||p(x)p(y)) has maximum when
12/02 15:24, 5F
→
12/02 15:28, 2年前 , 6F
痾 minimum... when p(x,y)=p(x)p(y)
12/02 15:28, 6F
→
12/02 15:29, 2年前 , 7F
這種情況下代表generator output 和latent code完全沒
12/02 15:29, 7F
→
12/02 15:30, 2年前 , 8F
關係
12/02 15:30, 8F
→
12/02 15:33, 2年前 , 9F
另外直覺上VAE的latent nodes才會minimize彼此之間的
12/02 15:33, 9F
→
12/02 15:34, 2年前 , 10F
MI
12/02 15:34, 10F
→
12/04 23:19, 1年前 , 11F
arxiv 1811.12359v4
12/04 23:19, 11F
→
02/15 23:39, , 12F
應該不是chang說的那樣 論文裡是寫MI maximization
02/15 23:39, 12F
→
02/15 23:39, , 13F
我的理解是，並不是maximizing MI->disentangled
02/15 23:39, 13F
→
02/15 23:42, , 14F
而是用了categorical code
02/15 23:42, 14F
→
02/15 23:43, , 15F
MI max一般用在latent跟output上是用來減緩mode collapse
02/15 23:43, 15F
‣ 更多 lifeowner 的文章
文章代碼(AID): #1ZY6IJmO (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lifeowner 的文章
文章代碼(AID): #1ZY6IJmO (DataScience)