PTT數位生活區 / DataScience

[問題] Conv layer的bias項

看板DataScience作者 (小笨)時間4年前 (2020/02/29 16:06), 編輯推噓4(4推 0噓 5→)
留言9則, 6人參與, 4年前最新討論串1/1
不好意思又來打擾各位了 我目前正在用搭建幾個經典模型來練習pytorch 我突然發現torchvision 他們自己的實踐裡頭 所有的conv layer的bias 都設為False 就我自己唸過GoogLeNet的paper 作者似乎沒有提到這個想法 我也去找了Resnet的實踐，他們一樣都把conv layer的bias設為False 這是他們實踐的網址 https://reurl.cc/9zdK78 我上網查了一下，有人用實驗證明有沒有bias項不影響準確度 也有人提到說當模型比較大的時候，bias項是可有可無的 這是我找到的reference https://reurl.cc/drdMn2 那我的問題就是 什麼叫做模型比較大 是比較深還是參數的數量比較多呢 不知道各位在實踐CNN系列的模型的時候也會設Bias項為False嗎 除了減少參數的數量之外，有其他更顯著的好處嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.189.185.80 (美國) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1582963602.A.87A.html
推
02/29 19:46, 4年前 , 1F
個人經驗，較大指的是參數量
02/29 19:46, 1F
→
02/29 22:51, 4年前 , 2F
直觀來說，bias增加擬合能力，寬或深的網路都會增加擬合
02/29 22:51, 2F
→
02/29 22:51, 4年前 , 3F
能力，bias自然就不重要了
02/29 22:51, 3F
→
03/01 01:51, 4年前 , 4F
了解了，對我來說算是一個新理解
03/01 01:51, 4F
推
03/01 11:43, 4年前 , 5F
後面接batchnorm時，bn會重設bias，所以conv bias多餘
03/01 11:43, 5F
推
03/01 14:59, 4年前 , 6F
因為BatchNorn
03/01 14:59, 6F
推
03/01 15:15, 4年前 , 7F
樓上正解，主要的原因還是在深度模型都有使用batch norm
03/01 15:15, 7F
→
03/01 15:15, 4年前 , 8F
alize，BatchNorm 會使mean values偏移，導致所有常數
03/01 15:15, 8F
→
03/01 15:15, 4年前 , 9F
項歸零，所以說沒有必要去設置bias。
03/01 15:15, 9F
‣ 更多 clansoda 的文章
文章代碼(AID): #1UMXkIXw (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clansoda 的文章
文章代碼(AID): #1UMXkIXw (DataScience)