PTT數位生活區 / DataScience

Re: [問題] vae生成的概念

看板DataScience作者 (小良)時間6年前 (2018/05/03 02:09), 6年前編輯推噓9(9推 0噓 19→)
留言28則, 4人參與, 6年前最新討論串2/2 (看更多)
詳細的數學網路上有很多啦，自己去查我就不多敘述 我來秀個下限，給個比較直觀的看法（電腦送修手機排版請見諒） 基本上目前的生成模型都是這樣 假設你的input data x有個不知道的機率分佈 Encoder要想辦法把你的機率分佈打到一個分佈上 在vae裡面就用了KL divergence打到guassian的分佈上(這邊用個z代表） 而Decoder的工作就是把z凹回x 而在Gan中比較不一樣的是直接就用generator把z(通常還是guassian)打回x 而讓generator學會怎麼打回去就是利用discriminator （所以說discriminator不能太強 因為generator要做的事困難太多了） 至於原po問的應該是GMM的形式的話，這個疑問還蠻值得思考的 或許用多個guassian來sample的話可以容易sample出所要的domain 畢竟在沒有這些東西前GMM可以做的不錯。 但剛剛查了一下，是有人在做這些研究的，但似乎效果沒很好 小弟對unsupervised learning不太熟，有錯還請多指教 小弟對unsupervised learning不太熟，有錯還請多指教 另外我也想問個問題，為毛gan sample from uniform會比sample from guassian難train啊 ※ 引述《seasa2016 (文慧)》之銘言： : 大家好，小弟近來在研究vae時想到一個問題，我們都知道vae是一個unsupervise的問題，他最大的特點在於他利用了一個gaussian distribution來model embedding layer的行為。 : 在訓練的時候，透過encoder的機制 可以提供不同的mean 和 variance，因此實際上他embedding layer的gaussian 或許應該說是一個GMM的形式。 : 我想請問的是，為何最後在做生成使用之時，他可以單單使用一個N(0,I)的gaussian來做生成呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.231.193 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1525284548.A.2F3.html
推
05/03 03:46, 6年前 , 1F
推
05/03 03:46, 1F
推
05/03 12:06, 6年前 , 2F
因為比較不好sample到能產生好圖的分佈區域吧?
05/03 12:06, 2F
我的問題是為什麼啊.....
推
05/03 13:33, 6年前 , 3F
我想是因為圖之間形變的過程也會被encode進去，但那不
05/03 13:33, 3F
→
05/03 13:34, 6年前 , 4F
是我們要的 用uniform等於是sample到正常圖和中間圖的
05/03 13:34, 4F
→
05/03 13:34, 6年前 , 5F
機率都一樣
05/03 13:34, 5F
→
05/03 13:34, 6年前 , 6F
機率都一樣
05/03 13:34, 6F
→
05/03 13:35, 6年前 , 7F
中間有些同時是不同
05/03 13:35, 7F
→
05/03 13:35, 6年前 , 8F
中間有些同時是不同
05/03 13:35, 8F
→
05/03 13:35, 6年前 , 9F
數字疊再一起的部分
05/03 13:35, 9F
→
05/03 13:35, 6年前 , 10F
數字疊再一起的部分
05/03 13:35, 10F
→
05/03 13:35, 6年前 , 11F
數字疊再一起的部分
05/03 13:35, 11F
沒道理啊 我們這邊用的其實比較像是空間對空間 跟機率的關係已經比較小了 ※ 編輯: liang1230 (140.112.25.100), 05/03/2018 13:43:23
推
05/03 16:21, 6年前 , 12F
那個機率是code的分布，code和圖像是能一一對應的
05/03 16:21, 12F
推
05/03 16:49, 6年前 , 13F
你可以反過來想啊 你寫個auto encoder先 把encoder
05/03 16:49, 13F
→
05/03 16:49, 6年前 , 14F
後的結果拿出來 你去看看用uniform還是gaussian比較
05/03 16:49, 14F
→
05/03 16:50, 6年前 , 15F
好描述你的資料分布
05/03 16:50, 15F
→
05/03 16:50, 6年前 , 16F
你當然理論上可以用uniform去訓練 但是沒道理放個
05/03 16:50, 16F
→
05/03 16:51, 6年前 , 17F
不直覺的prior進去吧
05/03 16:51, 17F
→
05/03 16:51, 6年前 , 18F
當然我是沒做過 說不定encode出來還真的是uniform XD
05/03 16:51, 18F
推
05/03 16:54, 6年前 , 19F
不過你112我覺得直接去敲門問李宏毅大大較能讓你信服
05/03 16:54, 19F
推
05/03 17:02, 6年前 , 20F
然後要理論的解我真不知道 有人有的話我也想知道@@
05/03 17:02, 20F
→
05/03 17:02, 6年前 , 21F
我是偏向這是經驗法則
05/03 17:02, 21F
宏毅哥我老闆....... uniform並沒有不直覺啊 ※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:53:52 ※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:55:08
推
05/03 22:19, 6年前 , 22F
那你有問宏毅哥嗎XD 我也想知道他說法
05/03 22:19, 22F
→
05/03 22:20, 6年前 , 23F
但是我覺得用autoencoder跑出來不會接近uniform才對
05/03 22:20, 23F
→
05/03 22:21, 6年前 , 24F
應該拿gaussian去擬合的error會比uniform低吧
05/03 22:21, 24F
VAE的KL loss就強制讓他變guassian啊 ※ 編輯: liang1230 (140.112.253.211), 05/03/2018 22:32:50
推
05/03 23:37, 6年前 , 25F
噢對耶...QQ"
05/03 23:37, 25F
→
05/04 17:40, 6年前 , 26F
不過uniform的話你好圖的邊界很難確定吧
05/04 17:40, 26F
→
05/06 05:00, 6年前 , 27F
給一點我個人的看法 用高斯應該是統計那邊來的原因
05/06 05:00, 27F
→
05/06 05:17, 6年前 , 28F
不過GAN的數學也是很難，可以去看看丘成桐那篇論文
05/06 05:17, 28F
‣ 更多 liang1230 的文章
文章代碼(AID): #1QwVx4Bp (DataScience)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 2 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共2篇)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 liang1230 的文章
文章代碼(AID): #1QwVx4Bp (DataScience)