PTT數位生活區 / DataScience

[問題] keras: zero trainable params

看板DataScience作者 (filialpiety)時間1年前 (2022/12/22 22:12), 編輯推噓0(0推 0噓 57→)
留言57則, 2人參與, 1年前最新討論串1/1
Keras: Zero trainable params 使用工具: GOOGLE COLAB 小弟目前在練習semi GAN ，目前feature extraction和feature selecion都做完了，想 說利用optuna 訓練semi GAN的discriminator看看能不能進行分類預測 不過現在碰到以下問題，但是很尷尬是我不知道這樣是能定義甚麼類型問題，也不知道怎 麼解決，但很肯定是discriminator訓練失敗 請問我該如何解決呢?? 感謝 以下醜醜的程式碼 https://i.imgur.com/VLznoe5.jpeghttps://i.imgur.com/mf6WwIr.jpeghttps://i.imgu r.com/1VCHkJP.jpeghttps://i.imgur.com/qpC9W5D.jpeghttps://i.imgur.com/MXb7mxn. jpeghttps://i.imgur.com/IgOSVTM.jpeghttps://i.imgur.com/SiWQDai.jpeghttps://i. imgur.com/3dT6NBW.jpeghttps://i.imgur.com/xyPFTEp.jpeghttps://i.imgur.com/LhFK P9c.jpeghttps://i.imgur.com/mEvkQtC.jpeghttps://i.imgur.com/CfMc2rV.jpeghttps: //i.imgur.com/Qq2bfUf.jpeghttps://i.imgur.com/IWOPNA9.jpeg ----- Sent from PttX on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.166.116.202 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1671718360.A.C7E.html
→
12/22 23:48, 1年前 , 1F
你的discriminator_n_layer是怎麼來的？
12/22 23:48, 1F
→
12/22 23:51, 1年前 , 2F
summary 能跑就代表autograph 是正常運作的
12/22 23:51, 2F
→
12/22 23:56, 1年前 , 3F
我只想到2個可能，1是你動到discriminator.trainable
12/22 23:56, 3F
→
12/22 23:56, 1年前 , 4F
2是你在建立weight 的時候沒有用到tf.Variable，所以
12/22 23:56, 4F
→
12/22 23:56, 1年前 , 5F
tensorflow把它當tf.constant處理
12/22 23:56, 5F
→
12/22 23:59, 1年前 , 6F
還有第三種是呼叫model的時候餵了trainable=False
12/22 23:59, 6F
→
12/22 23:59, 1年前 , 7F
不過你把discriminator 拆的這麼徹底....
12/22 23:59, 7F
→
12/23 00:01, 1年前 , 8F
最粗暴的解法就是 keras.Model.trainable =True
12/23 00:01, 8F
→
12/23 00:02, 1年前 , 9F
手動去歷遍layer weight也可以
12/23 00:02, 9F
→
12/23 19:13, 1年前 , 10F
感謝
12/23 19:13, 10F
→
12/23 19:13, 1年前 , 11F
discriminator_n_layer是tuning的其中一個目標
12/23 19:13, 11F
→
12/23 19:13, 1年前 , 12F
trainable = false 則是照書上寫的來做
12/23 19:13, 12F
→
12/23 19:13, 1年前 , 13F
也想請問一下有沒有tf Variable 的範例？我看到滿
12/23 19:13, 13F
→
12/23 19:13, 1年前 , 14F
多人這樣寫的說
12/23 19:13, 14F
→
12/23 19:13, 1年前 , 15F
，不過不知道怎麼下手來改？
12/23 19:13, 15F
→
12/23 21:15, 1年前 , 16F
把variable.trainable設成false當然就會辨識為
12/23 21:15, 16F
→
12/23 21:16, 1年前 , 17F
non trainable parameters 啊...
12/23 21:16, 17F
→
12/23 21:20, 1年前 , 18F
你的那本書應該有說tuning的時候最後面幾層不要
12/23 21:20, 18F
→
12/23 21:21, 1年前 , 19F
freeze，或者加層linear
12/23 21:21, 19F
→
12/24 05:26, 1年前 , 20F
感謝～我現在把trainable改true後，non-trainable
12/24 05:26, 20F
→
12/24 05:26, 1年前 , 21F
params明顯減
12/24 05:26, 21F
→
12/24 05:26, 1年前 , 22F
少許多，不過discriminatior 的performance 一樣0.
12/24 05:26, 22F
→
12/24 05:26, 1年前 , 23F
0
12/24 05:26, 23F
→
12/24 05:26, 1年前 , 24F
書上沒有做tuning，而是直接針對minst 資料集給nn
12/24 05:26, 24F
→
12/24 05:26, 1年前 , 25F
固定結構；tun
12/24 05:26, 25F
→
12/24 05:26, 1年前 , 26F
ing 部分是我如法炮製改的，資料則是餵實驗室清乾
12/24 05:26, 26F
→
12/24 05:26, 1年前 , 27F
淨的資料，目前
12/24 05:26, 27F
→
12/24 05:26, 1年前 , 28F
ensemble ML效果還可以，想說用semi GAN看看能不能
12/24 05:26, 28F
→
12/24 05:26, 1年前 , 29F
提升預測力，
12/24 05:26, 29F
→
12/24 05:26, 1年前 , 30F
不過明顯影我技術有問題，效果也不好。想請問deep
12/24 05:26, 30F
→
12/24 05:26, 1年前 , 31F
在處理結構資料
12/24 05:26, 31F
→
12/24 05:26, 1年前 , 32F
還有哪幾招可以試？
12/24 05:26, 32F
→
12/25 01:16, 1年前 , 33F
啥用途?
12/25 01:16, 33F
→
12/26 14:55, 1年前 , 34F
目前是做supervised learning、semi supervised 應
12/26 14:55, 34F
→
12/26 14:55, 1年前 , 35F
該沒望了
12/26 14:55, 35F
→
12/26 14:56, 1年前 , 36F
論文用途～～
12/26 14:56, 36F
→
12/27 14:40, 1年前 , 37F
找題目的意思？
12/27 14:40, 37F
→
12/28 17:43, 1年前 , 38F
題目已經確定了！資料也清乾淨，只是現在在訓練分
12/28 17:43, 38F
→
12/28 17:43, 1年前 , 39F
類器；ML的scri
12/28 17:43, 39F
→
12/28 17:43, 1年前 , 40F
pt 差不多了！想說弄DL分類器看看，讓自己就業有點
12/28 17:43, 40F
→
12/28 17:43, 1年前 , 41F
競爭力
12/28 17:43, 41F
→
12/28 17:43, 1年前 , 42F
畢竟上個實驗室有要求我做DL、花了一年時間看一堆p
12/28 17:43, 42F
→
12/28 17:43, 1年前 , 43F
aper還有課程
12/28 17:43, 43F
→
12/28 17:43, 1年前 , 44F
。如果DL做不出來我也認了XD 反正DL對硬體要求很高
12/28 17:43, 44F
→
12/28 17:43, 1年前 , 45F
，也不見得適
12/28 17:43, 45F
→
12/28 17:43, 1年前 , 46F
合每個議題
12/28 17:43, 46F
→
12/29 00:59, 1年前 , 47F
dl強在把先驗知識融入模型的靈活度
12/29 00:59, 47F
→
12/29 01:01, 1年前 , 48F
如果你的資料就是幾個數值型的欄位，那一般是比不過
12/29 01:01, 48F
→
12/29 01:01, 1年前 , 49F
ml的方法
12/29 01:01, 49F
→
12/29 15:30, 1年前 , 50F
先驗知識和後驗知識？！我查一下後不太了解，請問
12/29 15:30, 50F
→
12/29 15:30, 1年前 , 51F
這部分是在大學
12/29 15:30, 51F
→
12/29 15:30, 1年前 , 52F
哪個科目內呢？我常常看到先驗機率和後驗機率跟
12/29 15:30, 52F
→
12/29 15:30, 1年前 , 53F
您提的是不是有
12/29 15:30, 53F
→
12/29 15:30, 1年前 , 54F
關係？
12/29 15:30, 54F
→
12/30 14:22, 1年前 , 55F
我個人是理解為資料以外的知識
12/30 14:22, 55F
→
12/30 14:22, 1年前 , 56F
先/後驗分佈是貝氏統計的部分
12/30 14:22, 56F
→
12/30 14:23, 1年前 , 57F
應該沒什麼關係
12/30 14:23, 57F
‣ 更多 filialpiety 的文章
文章代碼(AID): #1Zf6NOn- (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 filialpiety 的文章
文章代碼(AID): #1Zf6NOn- (DataScience)