[問題] 測試數劇集的預處理與測試模型疑問

看板DataScience作者karco (karco)時間5年前 (2019/02/18 11:25)推噓2(2推 0噓 11→)

留言13則, 3人參與討論串1/1

作業系統: mac,win10 問題類別: ML,CNN 使用工具: python,pytorch,scikit 問題內容: 資料科學板的各位大大好我目前所訓練的模型是利用CNN建立出一個迴歸預測模型。在建置出初步的模型後，想到了兩個問題，想要跟各位大大請教。第一個問題是關於數據的標準化為了避免特徵尺度不同，導致模型過度的擬合某一個特徵，所以會對數據進行標準化目前是使用Scikit的Standler進行這項工作會將訓練數據集進行fit_transform 然後將得到的數值套用進測試數據集直接transform 那我目前困惑的點在於，那如果今天模型訓練完成，那我目前困惑的點在於，那如果今天模型訓練完成，那我目前困惑的點在於，那如果今天模型訓練完成，那我目前困惑的點在於，那如果今天模型訓練完成，我們保存了一個模型，今天直接載入新的數據時，我們沒有測試數據集了，但我們仍然需要將新的數據進行標準化那這時我們需要使用的是fit_transform對嗎？這樣對模型的預測結果會有影響嗎? 第二個問題目前比較頭痛在於我使用測試模式下進行預測時發現模型的預測完全不會變動只要第一次預測某個值，後面預測的值都會一樣可是在訓練模式下一切都很正常請問這可能是遭遇到什麼樣的問題呢? 模型訓練時跟測試時的寫法相同只有在測試前加上 model.eval() with torch.no_grad(): 目前試了很多方法，還是找不到哪邊出錯請問有大大遇到類似的問題嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.113.121.150 ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.113.121.150 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1550460349.A.B2C.html ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1550460349.A.B2C.html

→

f496328mm

02/18 13:14, 5年前 , 1^F

02/18 13:14, 1^F

→

f496328mm

02/18 13:14, 5年前 , 2^F

02/18 13:14, 2^F

→

f496328mm

02/18 13:15, 5年前 , 3^F

02/18 13:15, 3^F

因為目前的input是一個二維的矩陣因此認為使用DNN的話參數會過多而難以學習因此才想使用CNN進行迴歸預測目前網路上對於回歸模型的討論很少，所以也不知道有沒有其他的架構可以使用@@ ※ 編輯: karco (140.113.121.150), 02/18/2019 13:19:55

推

sma1033

02/18 16:40, 5年前 , 4^F

02/18 16:40, 4^F

→

sma1033

02/18 16:41, 5年前 , 5^F

02/18 16:41, 5^F

大大抱歉沒有附上程式碼的原因是因為訓練模型時並沒有遇到問題而是在切換成model.eval()時才出現並且將訓練數據集放進測試數據集時問題還是一樣因此我第一時間就判斷是在eval出現問題而非數據處理相關所以我認為可能是一個比較大眾的pytorch問題才沒有特別上傳程式碼十分不好意思@@ 然後這問題我暫時解決了下午在pytorch的論壇上發現了此篇下午在pytorch的論壇上發現了此篇 https://discuss.pytorch.org/t/performance-highly-degraded-when-eval-is-activated-in-the-test-phase/3323/4 照著回覆中的設定將BN層 track_running_stats設成false後就正常運行了所以問題應該是發生在單獨的model.eval()前還要手動將bn層的設置關閉只是這樣的設置雖然有效但不知道是否合理(? 因為看論壇後續的回覆似乎也是眾說紛紜所以還是希望可以跟各位大大進行討論 ※ 編輯: karco (39.12.138.80), 02/18/2019 17:54:14

推

f496328mm

02/18 18:54, 5年前 , 6^F

02/18 18:54, 6^F

網路上我找到的迴歸討論都在初步的線性迴歸模型而已許多書籍的介紹也是基本上都是重複的介紹@@ CNN進行迴歸問題目前只看到了幾篇論文請問大大是否有推薦的網路資源因為我真的沒找到很多 ※ 編輯: karco (39.12.138.80), 02/18/2019 19:07:15 ※ 編輯: karco (39.12.138.80), 02/18/2019 19:07:15

→

f496328mm

02/18 19:27, 5年前 , 7^F

02/18 19:27, 7^F

好的我會研究看看感謝建議 ※ 編輯: karco (39.12.138.80), 02/18/2019 20:11:36

→

supermmi

07/05 13:16, 5年前 , 8^F

07/05 13:16, 8^F

→

supermmi

07/05 13:16, 5年前 , 9^F