[問題] 初學者嘗試RNN遇到的問題已刪文

看板DataScience作者 (殺拉頂)時間5年前 (2019/01/14 21:08), 編輯推噓1(108)
留言9則, 3人參與, 5年前最新討論串1/1
作業系統:(ex:mac,win10,win8,win7,linux,etc...) win7 問題類別:(ex:ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...) RNN 使用工具:(ex:python,Java,C++,tensorflow,keras,MATLAB,etc...) anaconda, python, tensorflow 問題內容: 大家好 小的是一位業餘的ML初學者 最近嘗試把RNN應用到polygon上面去 所以找了一個小問題來試看看 就是給定一個小正方形 再給定一點 若這點距離正方形小於9 那分類為1, 否則分類為0 (我知道這是很蠢的問題XD) 使用以下設定: 正方形座標 (0,0) (0,8) (8,8) (8,0) [input] 正方形座標到點(x,y)的四個向量, 所以: sequence_length = 4, 每個step 的 x 為 [a, b] 型式 每個batch input的shape = (10, 4, 2) learning rate = 0.005 training data 就是從距離左邊20到距離右邊20每隔0.1取一點(或是一些類似的變型) [output] 1 or 0 [RNN設定] number of unit =4 使用basicRNNCell如下: cell = tf.nn.rnn_cell.BasicRNNCell(num_units = 4) 但是訓練不出來想要的結果, 而且很詭異的是 loss上升但是accuracy下降, 看來是整個錯掉了, 自己沒有頭緒哪邊出問題了 可能是理論那邊我沒搞對 或是 實務上哪邊我沒有做的 (也有試過normalization 不過好像沒用) 總之不太確定是這樣的問題RNN不適用 還是操作或是實務上 哪裡錯掉了 所以在這邊請問各位的意見 請幫幫忙~~ (python code: https://pastebin.com/z7EYL8qX , 有點亂 因為一直在試) 若哪邊有違反規矩之處請多多包涵跟指正 謝謝~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.46.82 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1547471284.A.BA4.html

01/15 08:58, 5年前 , 1F
我好像看到你每個epoch都有把data shuffle然後用index
01/15 08:58, 1F

01/15 08:58, 5年前 , 2F
取資料做test
01/15 08:58, 2F

01/15 08:58, 5年前 , 3F
這樣做test的時候好像會用到看過的資料@@
01/15 08:58, 3F

01/15 13:27, 5年前 , 4F
嗯嗯 沒錯 那樣是不合常理的用法 不過那是因為連訓練用的
01/15 13:27, 4F

01/15 13:28, 5年前 , 5F
會不會他是因為訓練不出來 所以把訓練data拿來測試阿?
01/15 13:28, 5F

01/15 21:17, 5年前 , 6F
我來解釋一下啦 原本我沒有80/20分做驗證 因為我只是
01/15 21:17, 6F

01/15 21:18, 5年前 , 7F
先實驗一下 後來發現怪怪的 想說從訓練集裡面拿出的資料
01/15 21:18, 7F

01/15 21:19, 5年前 , 8F
應該要對吧 所以後來加了那段看訓練集的結果一不一樣
01/15 21:19, 8F

01/15 21:20, 5年前 , 9F
這樣就讓我徹底不知道該怎麼解釋了 有誰有什麼想法的嗎?
01/15 21:20, 9F
文章代碼(AID): #1SF8cqka (DataScience)
文章代碼(AID): #1SF8cqka (DataScience)