Re: [問題] Validation set 到底在做什麼?

看板DataScience作者lucien0410 (lucein)時間6年前 (2018/03/27 15:31)推噓5(5推 0噓 9→)

留言14則, 3人參與討論串4/8 (看更多)

感謝pipidog前輩的回文深入淺出的概念教育! 你的回文有大量的訊息真的學了不少抽象的訊息最難學但你教的方式特別好可是可是我的問題沒有回答到 (是我一開始沒問對問題) 我做的是機器翻譯 seq2seq + attention (Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio (2014), “Neural ma- chine translation by jointly learning to align and translate.” arXiv preprint arXiv:1409.0473. Cho, Kyunghyun, Bart Van Merri nboer, Dzmitry Bahdanau, and Yoshua Ben- gio (2014a), “On the properties of neural machine translation: Encoder- decoder approaches.” arXiv preprint arXiv:1409.1259. Cho, Kyunghyun, Bart Van Merri nboer, Caglar Gulcehre, Dzmitry Bah- danau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio (2014b), “Learn- ing phrase representations using rnn encoder-decoder for statistical machine translation.” arXiv preprint arXiv:1406.1078.) OpenNMT是把上述演算法實踐的library之一 OpenNMT建立模組的時候validation set就是必需的了開始訓練前必需先設定hyperparameter ephoch size; learning rate ... 這些hyperparameter 都要預先設定除此之外 **還要再給** val set 這樣才能開始訓練所以這樣的 validation set 對 OpenNMT 不是用來挑選hyperparameter的＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃換個方式講假設我有兩份已知資料(AB兩份資料） A拿來訓練 B拿來測試 B的測試結果告訴我們成果到底怎樣公平的驗證 B就是終極測試但其實訓練A之前可以調整很多hyperparameter 所以就先把A切成 a b 拿a 訓練 b 測試找尋最佳的hyperparameter 找到後再依這樣的設定訓練A (期待B的測試會最好) 但是OpenNMT要求在訓練小寫a時也必須提供val set 這就是我的問題了 ※ 引述《pipidog (如果狗狗飛上天)》之銘言： : 你有三個資料集，train, validation, test : train沒啥好說的，餵給機器，讓機器學，生成潛在參數用的 : 練好之後，怎麼知道表現好不好？拿validation來測試。 : 如果不好，調整超參數後重新訓練一次，再驗證一次。反覆這個流程 : 直到在validation的表現滿意為止。但故事至此尚未結束，是的，validation : 沒有被機器讀過，所以確實給出的表現可以看作模型對未知資料的表現， : 但問題是我們不停在做的事情，就是找出一組超參數，使得模型對於 : validation的表現最好，換言之，這個模型是有bias的，它的一切都在 : 迎合validation，但如果你的validation取得不具代表性怎麼辦？這模型 : 的泛化能力就不能透過validation來證明。 : 所以你最終的模型必須要在test上測試才算數。 : 簡單說，train是拿來訓練潛在參數的，validation是拿來挑選超參數的， : 這兩個資料集機器都去迎合過它們，換言之，都"髒掉了"，所以我們才需要 : test set，它既與潛在參數無關，也與超參數無關，是理想上真正獨立超然的 : 模型判官。這樣說，你明白了嗎？ : 至於cross validation，那是另一個很長的故事，我想你應該，也必須花時間 : 了解，這是機器學習裡面，模型選擇的重要觀念。 : ----- : Sent from JPTT on my Asus P00C. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.230.60.98 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522135917.A.895.html ※ 編輯: lucien0410 (68.230.60.98), 03/27/2018 15:36:59 ※ 編輯: lucien0410 (68.230.60.98), 03/27/2018 16:17:38