PTT數位生活區 / DataScience

[問題] AI CNN每一層是如何想出來的?

看板DataScience作者 (吃青椒)時間4年前 (2020/09/16 23:40), 4年前編輯推噓8(8推 0噓 29→)
留言37則, 12人參與, 4年前最新討論串1/1
最近在做專題AI CNN那方面， 目前已知些最基本的架構， 舉例:Average pooling Max pooling ReLU Fully Connect(FC) Normalization 當然不只這些，今天看AlexNet的Paper 突然想到設計問題.. Why第一層可能是... (5層) 埢積 -> pooling -> ReLU -> normal.. -> FC Why第二層可能是... (3層) 埢積 -> ReLU -> FC 以此類推 (4層) . . . 問題1: 為什麼要"這樣"設計? (有些複雜有些稀疏) 問題2: 這是機密嗎? 因為Paper都不會說明，只有結果。 以上 謝謝各位版友! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.41.78 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1600270832.A.BB2.html ※ 編輯: arfa0711 (111.246.41.78 臺灣), 09/16/2020 23:42:40
推
09/17 01:36, 4年前 , 1F
你如果知道每一個操作在幹嘛就不會問這個問題勒
09/17 01:36, 1F
可能你誤會了!我的問題比較偏向lin大大說的那樣
→
09/17 02:10, 4年前 , 2F
AlexNet 參考 LeNet-5，其他打不贏就加入
09/17 02:10, 2F
→
09/17 02:11, 4年前 , 3F
你可以看看 LeNet-5 的 paper
09/17 02:11, 3F
了解，因為我也有看網路上GoogleNet的講解(不是paper) 裡面當然很多結構架構都是他們設計好了， 但 好像很少特別說明 每一層詳細的構造。
→
09/17 10:23, 4年前 , 4F
就是一直試，可以先考慮輸入的維度或是你想要解決什麼
09/17 10:23, 4F
→
09/17 10:23, 4年前 , 5F
樣的問題，才來建構每一層
09/17 10:23, 5F
所以其實他們也是一直try最後才得出paper上面看到的 感謝 ※ 編輯: arfa0711 (118.163.199.180 臺灣), 09/17/2020 11:08:52
推
09/17 13:27, 4年前 , 6F
這是DL 不是AI
09/17 13:27, 6F
推
09/17 15:32, 4年前 , 7F
DL也是AI會用到的技術，並沒有太大問題
09/17 15:32, 7F
→
09/17 15:33, 4年前 , 8F
然後其實是先理解每一種層能做到什麼效果，理解自己要解的
09/17 15:33, 8F
→
09/17 15:33, 4年前 , 9F
問題應該需要哪些效果，先有個預想以後才去猜想可以怎麼建
09/17 15:33, 9F
→
09/17 15:34, 4年前 , 10F
構，提出一些可能的模型，初步測試後發現結果在什麼方面有
09/17 15:34, 10F
→
09/17 15:35, 4年前 , 11F
不足跟缺失，才去修改或重建
09/17 15:35, 11F
→
09/17 15:35, 4年前 , 12F
不是一開始就try try try，問題隨便大一點try一次可能就一
09/17 15:35, 12F
→
09/17 15:36, 4年前 , 13F
星期以上，不可能沒有任何預想就從try開始的
09/17 15:36, 13F
→
09/17 15:37, 4年前 , 14F
至於Paper沒詳細說明，有時是篇幅不夠，有時是有些組合本
09/17 15:37, 14F
→
09/17 15:37, 4年前 , 15F
來就已經為人熟知
09/17 15:37, 15F
推
09/17 15:40, 4年前 , 16F
去看以前的相關reference就解釋過了，所以他就只側重在自
09/17 15:40, 16F
→
09/17 15:40, 4年前 , 17F
己有進一步改進的地方
09/17 15:40, 17F
→
09/17 15:41, 4年前 , 18F
像是為何Conv->ReLU->Conv->ReLU->Pooling而不是
09/17 15:41, 18F
→
09/17 15:42, 4年前 , 19F
Conv->ReLU->Pooling循環兩次之類的，有些其實自己慢慢推
09/17 15:42, 19F
→
09/17 15:43, 4年前 , 20F
敲每層的效果與副作用也可以得到概念
09/17 15:43, 20F
→
09/18 09:52, 4年前 , 21F
謝謝D大 很詳細！
09/18 09:52, 21F
→
09/18 21:53, 4年前 , 22F
我怎麼記得看到比較多conv->bn->relu..
09/18 21:53, 22F
推
09/19 16:23, 4年前 , 23F
某樓真的在講幹話 呵呵
09/19 16:23, 23F
→
09/19 16:23, 4年前 , 24F
通常是一個好的套路 大家就會沿用 而好的套路就是try
09/19 16:23, 24F
→
09/19 16:23, 4年前 , 25F
出來的 沒有為什麼
09/19 16:23, 25F
→
09/19 16:26, 4年前 , 26F
如果你真的想問 那應該是try的邏輯 這要去看paper
09/19 16:26, 26F
→
09/19 16:26, 4年前 , 27F
發paper通常兩種 一種是我假設某個東西很好 我實作
09/19 16:26, 27F
→
09/19 16:26, 4年前 , 28F
驗證 發現很好 那我發paper跟大家說 另一個就是我東
09/19 16:26, 28F
→
09/19 16:26, 4年前 , 29F
改改西改改 發現很好 找個解釋or強行給個解釋
09/19 16:26, 29F
推
09/20 18:03, 4年前 , 30F
shorturl.at/bxzK3 這篇文獻不知道能不能幫忙?
09/20 18:03, 30F
推
09/26 10:16, 4年前 , 31F
原po應該不是想問每個conv block內部設計，畢竟他已經知道
09/26 10:16, 31F
→
09/26 10:16, 4年前 , 32F
relu 、池化等概念，而是問說為何這邊連續接5個conv block
09/26 10:16, 32F
→
09/26 10:16, 4年前 , 33F
，後面連續接3個conv block，這個「數量」是怎麼設計的，
09/26 10:16, 33F
→
09/26 10:16, 4年前 , 34F
不知道理解有沒有誤
09/26 10:16, 34F
→
10/03 14:49, 4年前 , 35F
就是調參數的概念
10/03 14:49, 35F
→
10/07 13:33, 4年前 , 36F
覺得調參＋1
10/07 13:33, 36F
推
10/16 00:50, 4年前 , 37F
Try and error
10/16 00:50, 37F
‣ 更多 arfa0711 的文章
文章代碼(AID): #1VOZ7mko (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 arfa0711 的文章
文章代碼(AID): #1VOZ7mko (DataScience)