PTT數位生活區 / DataScience

[問題] tensorflow gradients無法計算

看板DataScience作者 (小笨)時間3年前 (2020/10/29 22:40), 編輯推噓9(9推 0噓 29→)
留言38則, 9人參與, 3年前最新討論串1/1
不確定這能不能發在這邊，如果不行麻煩告知我一下 我最近剛從pytorch試著轉換到tensorflow 目前的問題是我使用tape的時候無法順利地計算gradients with tf.GradientTape() as tape: predictions = model(features,training = True) loss = loss_func(labels, predictions) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) 這是我目前使用的code，縮牌可能會因為貼上的關係有點問題 主要是走到第三行用tape.gradient計算gradient時，返還的都是None 我已經確認過loss有被正確地計算出來 搜尋過可能的原因 (1) 使用model.predict造成 return的是一個numpy array而不是tensorflow tensor 而使得gradienttape無法正確計算gradient。但這個問題不成立，因為我是直接使用 class的__call__來計算prediction (2) 要使用 tape.watch來計算gradients，這個做法我也加過，但是返還的gradients 一樣是None 不曉得還有甚麼可能會導致這樣的結果呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.218.7.190 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1603982455.A.4E5.html
推
10/29 22:53, 3年前 , 1F
有加watch嗎？
10/29 22:53, 1F
→
10/29 22:57, 3年前 , 2F
抱歉沒看到
10/29 22:57, 2F
推
10/29 22:59, 3年前 , 3F
感覺問題出在loss_func，確定labels跟predictions有
10/29 22:59, 3F
→
10/29 22:59, 3年前 , 4F
正確運算到嗎？
10/29 22:59, 4F
推
10/29 23:07, 3年前 , 5F
話說你gradient是放在同一層嗎，後面兩行要放在和with同
10/29 23:07, 5F
→
10/29 23:07, 3年前 , 6F
一層哦
10/29 23:07, 6F
推
10/30 02:56, 3年前 , 7F
你要先檢查你的model裡面真的有可以train的參數嗎？或
10/30 02:56, 7F
→
10/30 02:56, 3年前 , 8F
是你在建完model後有clear
10/30 02:56, 8F
推
10/30 14:56, 3年前 , 9F
gradients跟optimizer多縮排了
10/30 14:56, 9F
→
10/30 22:02, 3年前 , 10F
請問baby大，如何確定有正確算到呢? loss這個物件是一個
10/30 22:02, 10F
→
10/30 22:02, 3年前 , 11F
tensor，裏頭是一個實數的scalar，應該算是有正確算到吧
10/30 22:02, 11F
→
10/30 22:03, 3年前 , 12F
min大，後面兩行有放在同一個縮排了
10/30 22:03, 12F
→
10/30 22:04, 3年前 , 13F
acc大，我有print過model.trainable_varaibles
10/30 22:04, 13F
→
10/30 22:04, 3年前 , 14F
裏頭確實是有一個長度為10的list，元素都是tensor
10/30 22:04, 14F
→
10/30 22:05, 3年前 , 15F
qwe大，請問什麼是多縮排呢?
10/30 22:05, 15F
推
10/30 22:17, 3年前 , 16F
tape計算gradient的時候要離開with
10/30 22:17, 16F
→
10/30 23:57, 3年前 , 17F
我只能周一再貼圖了，code在公司電腦
10/30 23:57, 17F
→
10/30 23:57, 3年前 , 18F
我目前應該是前兩行在with下 而後兩行在外面的縮排
10/30 23:57, 18F
推
10/31 01:10, 3年前 , 19F
之前也遇過這個問題，那時候我是的損失函數沒寫好，
10/31 01:10, 19F
→
10/31 01:10, 3年前 , 20F
導致損失並不是透過labels跟predictions運算出來的，
10/31 01:10, 20F
→
10/31 01:10, 3年前 , 21F
所以才無法反向傳播得到gradients，所以建議可以檢查
10/31 01:10, 21F
→
10/31 01:10, 3年前 , 22F
一下
10/31 01:10, 22F
推
10/31 13:45, 3年前 , 23F
看線上文件都有用到 watch，有可能是這個原因嗎？
10/31 13:45, 23F
→
10/31 13:47, 3年前 , 24F
似乎不是...
10/31 13:47, 24F
推
11/05 12:21, 3年前 , 25F
有一些lib函數返還的數值會沒有梯度喔
11/05 12:21, 25F
→
11/05 12:22, 3年前 , 26F
你確認下到哪一步突然沒有梯度，換掉那就可以了
11/05 12:22, 26F
→
11/07 08:48, 3年前 , 27F
我自己回自己一下，如同nj大所說 這邊的問題就是函數
11/07 08:48, 27F
→
11/07 08:49, 3年前 , 28F
我使用的cross entropy是來自於tensorflow.keras.metric
11/07 08:49, 28F
→
11/07 08:49, 3年前 , 29F
實際上要使用tensorflow.keras.lossess同一名字的函數
11/07 08:49, 29F
→
11/07 08:49, 3年前 , 30F
他才會正確的追蹤梯度，但實際上你完全可以print出
11/07 08:49, 30F
→
11/07 08:50, 3年前 , 31F
正確的loss，導致很難理解為什麼沒辦法回傳梯度
11/07 08:50, 31F
→
11/07 08:50, 3年前 , 32F
這點跟pytorch不太一樣，pytorch沒有metrics跟loss之分
11/07 08:50, 32F
→
11/07 08:51, 3年前 , 33F
watch的話，我自己看得tutorial是沒有加上去的
11/07 08:51, 33F
→
11/07 08:51, 3年前 , 34F
但我自己寫的code我有補上，這點再請其他人補充
11/07 08:51, 34F
→
11/15 19:31, 3年前 , 35F
一個是tensorflow operation function，return numpy
11/15 19:31, 35F
→
11/15 19:31, 3年前 , 36F
另外一個是keras layer object
11/15 19:31, 36F
→
11/15 19:34, 3年前 , 37F
metrics那一類是用來監測模型訓練的指標，不能算梯度
11/15 19:34, 37F
→
11/15 19:34, 3年前 , 38F
合情合理
11/15 19:34, 38F
‣ 更多 clansoda 的文章
文章代碼(AID): #1VcjHtJb (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clansoda 的文章
文章代碼(AID): #1VcjHtJb (DataScience)