[問題] 關於neural network某層加gaus noise的
很多paper (尤其是GAN相關）
都有在ＮＮ某層加noise的情況
這個在數學上的意義是什麼？
我可以理解說 這是要對generator產生的結果更有亂數性
不過實際上在做gradient descent進行back propagation時
這項noise存在在計算gradient中吧？
例如最簡單的MSE loss來看 算gradient時 2*(X-X')*(...)
如果加了gaussian noise N在最後一層
2*(X+N- X') *(....)
會影響反向傳播 等於是在做gradient descent時 會有一定機率是亂走的分量
而這亂走的gradient就是加noise貢獻的
同理 若是加在中間層也會有這樣的情況 (因為chain rule)
就我理解是 他在做gradient descent的optimization是讓他走到
一個不容易跳開的平坦低點 這樣就算加noise還是最佳的
大家若有覺得更好的數學意義 還請各位不吝分享
謝謝
--
:I clean the house and wash the bathroom and toilet and make the cake for my
roommate. The ones she allows I might be capable of doing.
:And do you go out with friends?
:Well, a boy's best friend is his roommate.
<No Angels>
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.173 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1576022931.A.97A.html
→
12/11 15:27,
5年前
, 1F
12/11 15:27, 1F
推
12/11 16:57,
5年前
, 2F
12/11 16:57, 2F
推
12/12 02:15,
5年前
, 3F
12/12 02:15, 3F
推
12/12 02:19,
5年前
, 4F
12/12 02:19, 4F
→
12/12 02:21,
5年前
, 5F
12/12 02:21, 5F
推
12/12 02:22,
5年前
, 6F
12/12 02:22, 6F
→
12/12 02:22,
5年前
, 7F
12/12 02:22, 7F
→
12/15 01:24,
5年前
, 8F
12/15 01:24, 8F
→
12/15 01:25,
5年前
, 9F
12/15 01:25, 9F
→
12/18 21:45,
5年前
, 10F
12/18 21:45, 10F
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章
