PTT數位生活區 / DataScience

[問題] tensorflow Adam 學習率 decay ?

看板DataScience作者 (x_x)時間6年前 (2018/08/09 16:11), 編輯推噓3(3推 0噓 4→)
留言7則, 4人參與, 6年前最新討論串1/1
作業系統:win10 問題類別:DL optimizer 使用工具:tensorflow 問題內容: 在做訓練時有點在意learning rate的問題 所以特別去看了一下Adam到底有沒有做decay 原本paper上演算法上是有的 https://arxiv.org/pdf/1412.6980.pdf Theorem 4.1 但是網路上的討論區寫到 在tensorflow裡似乎是沒有做decay的 或著說,只是做moment的調整而已 https://goo.gl/Z75bWK 想請教各位大神 在tensorflow裡的adam有沒有具備decay的功能? 還是須要自己弄個learning rate scheduling? 本版首PO 感謝各位解惑 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.220.183.232 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1533802279.A.8F3.html
→
08/09 22:32, 6年前 , 1F
都這樣講了應該是沒有
08/09 22:32, 1F
→
08/09 22:32, 6年前 , 2F
自己寫ㄅ
08/09 22:32, 2F
推
08/11 19:35, 6年前 , 3F
小弟用Pytorch的Adam是自己寫scheduling, tf可能也要但
08/11 19:35, 3F
→
08/11 19:35, 6年前 , 4F
應該有func可用
08/11 19:35, 4F
推
08/11 23:12, 6年前 , 5F
keras好像就不用 不過只有照step遞減的實作
08/11 23:12, 5F
推
08/20 08:45, 6年前 , 6F
指數衰減可以用tf.train.exponential_decay，不喜歡的話，
08/20 08:45, 6F
→
08/20 08:45, 6年前 , 7F
自己寫也不會太難
08/20 08:45, 7F
‣ 更多 xxkevin 的文章
文章代碼(AID): #1RQ_SdZp (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 xxkevin 的文章
文章代碼(AID): #1RQ_SdZp (DataScience)