PTT數位生活區 / DataScience

[問題] 模型分批訓練

看板DataScience作者 (ntuics)時間4年前 (2020/05/09 16:53), 編輯推噓7(7推 0噓 12→)
留言19則, 6人參與, 4年前最新討論串1/1
作業系統: win10 問題類別: ml 使用工具: keras,tensorflow,python 問題內容： 大家好 我有一個問題想問 我已經建立一個模型並用第一號訓練集訓練完成且用第一號測試集測試過，我覺得成果不錯。 所以我把此模型儲存起來。 那之後我可以再次載入模型，用第二號訓練集訓練這個模型嗎？ 我已經把模型儲存起來了，要是第二號訓練集的效果不好，要怎麼改模型架構和參數。 因為我的檔案非常的多 有一百個csv檔 我光一個csv就必須拆成40個訓練集了 希望大家能幫我解答一下 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.2.222 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1589014433.A.14A.html
推
05/09 17:21, 4年前 , 1F
可以用新資料繼續train
05/09 17:21, 1F
→
05/09 17:22, 4年前 , 2F
要改的話，可以選則重train或把以前的當pre-train model
05/09 17:22, 2F
→
05/09 23:58, 4年前 , 3F
如果你的訓練集都是一樣重要 應該把它視為一個訓練集
05/09 23:58, 3F
→
05/09 23:58, 4年前 , 4F
依次TRAIN好 , 之後如有新資料FINETUNE 當成另一件事
05/09 23:58, 4F
→
05/10 00:02, 4年前 , 5F
照你的做法, 如果不freeze weight ,二號會蓋掉一號
05/10 00:02, 5F
推
05/10 00:39, 4年前 , 6F
我覺得你是不是有點不懂訓練還有fine tune
05/10 00:39, 6F
→
05/10 09:18, 4年前 , 7F
感謝大家的回覆
05/10 09:18, 7F
→
05/10 09:18, 4年前 , 8F
我確實不太懂
05/10 09:18, 8F
→
05/10 09:18, 4年前 , 9F
我查了兩樣東西
05/10 09:18, 9F
→
05/10 09:18, 4年前 , 10F
不知道是不是對的
05/10 09:18, 10F
→
05/10 09:18, 4年前 , 11F
train on batch
05/10 09:18, 11F
→
05/10 09:18, 4年前 , 12F
transfer learning
05/10 09:18, 12F
推
05/10 09:58, 4年前 , 13F
batch跟你要做的比較接近
05/10 09:58, 13F
推
05/10 09:59, 4年前 , 14F
transfer是用在目標資料太少，所以用非domain的資料輔助
05/10 09:59, 14F
推
05/10 18:36, 4年前 , 15F
聽三樓的話，一起 train
05/10 18:36, 15F
推
05/10 18:37, 4年前 , 16F
資料太多，有 min batch 擋住，其他乖乖耐心等。
05/10 18:37, 16F
推
05/14 19:35, 4年前 , 17F
如果沒有把上一次最後的lr記下來 跑新資料會蓋掉
05/14 19:35, 17F
→
05/14 19:36, 4年前 , 18F
丟在一起練是最好的 然後把train batch弄小 再來就是
05/14 19:36, 18F
→
05/14 19:36, 4年前 , 19F
耐心 慢慢tune網路
05/14 19:36, 19F
‣ 更多 maple60107 的文章
文章代碼(AID): #1Ujc-X5A (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 maple60107 的文章
文章代碼(AID): #1Ujc-X5A (DataScience)