[問題] DRL中的loss function已刪文
於是就把critic loss調出來看看
然後發現mseloss超大
https://imgur.com/pjhlOkZ
把1500-2000回合的loss抽出來看
發現接近1700回合的時候loss突然衝高又往下降
https://imgur.com/qCbDbrx
直到2000回合時，mseloss仍在15000左右
我原本在猜應該是我的critic沒學好，所以mseloss才這麼大
可是我的mseloss還是持續下降中，感覺critic還是有持續學習(?)
也許再多訓練幾個回合loss就能再小一些
但reward從750回合之後始終卡在85上下 (希望能衝高到100以上)
再花時間訓練感覺也不會讓model績效變好
而且reward上升似乎只是因為我的gaussian noise標準差逐漸遞減
代理動作選擇受到noise的影響較小導致的
(這部分我有固定noise的標準差跑一次模擬，訓練1000回合後沒有明顯上升的趨勢)
想請問板上的前輩這樣的情形是正常的嗎?
也希望前輩們能不吝指教，能給我一些方向去修正我的model
在此先謝謝大家了！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.10.31 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1649347975.A.B20.html
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章
