[問題] RNN無法收斂已刪文
我目前在練習使用RNN來做各種NLP的應用，目前是使用bidirectional LSTM來做
sentiment analysis，雖然使用的是最基本的架構，但是我發現模型不會收斂
我的架構是先有一個embedding layer來將text轉成embedding然後feed進一個
兩層的bidirectional LSTM再將最後一個time series的output抽出來feed進
一個兩層的forward NN然後產生prediction
使用的是Adam lr = 0.00001 mini_bacth_size = 128
我想過是不是因為我將left_to_right跟right_to_left的兩個sequence串起來
所以才沒辦法收斂，我用了paper裡面的方法將兩個向量加起來也不行。 我也試過
把lr調小一點也不行，也試過forward NN只用一層也不行，也試過只用left_to_right
的LSTM也不行，想請問如果用layer normalization會比較好嗎
我還沒試的原因是因為網路上的應用並沒有用到normalization就會收斂了
我將我的data與code放在下面 希望有經驗與有時間的前輩能給我一些建議
data https://bit.ly/2T2rm9Q
code https://bit.ly/31juGQH
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.12.53.156 (美國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1564852345.A.C1C.html
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章
