PTT數位生活區 / DataScience

[問題] bootstrap confidence intervals

看板DataScience作者 (小元)時間5年前 (2019/05/29 22:59), 編輯推噓0(0推 0噓 10→)
留言10則, 2人參與, 5年前最新討論串1/1
各位前輩、大大們好， 小弟研究上有些問題想請教、確認自己了解是否有誤，如有錯誤還請不吝指教。 我想請問一下，在文獻中回報了bootstrap-generated confidence intervals， 是否就代表著有interval validation? 在我的認知上，internal validation是為了避免當model overfitting時 出現過於高估模型能力的情況， 所以在bootstrap中利用不斷的resample with replacement去修正過於樂觀的結果。 但是今天聽到有人說，bootstrap只有在運用在model developement時才算是有internal validation，倘若只有利用bootstrap在建好模型之後去評估模型表現則不算是有intern- al validation (像是只用bootstrap計算confidence intervals) 小弟不是很認同這樣的說法，因此想詢問一下大家怎麼看待的呢? 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 134.58.253.56 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1559141956.A.8E7.html
→
05/31 23:50, 5年前 , 1F
不太能理解你要表達的意思，bootstrap 抽樣做驗證的方法
05/31 23:50, 1F
→
05/31 23:50, 5年前 , 2F
是隨機取n個可放回的資料，剩下做validation set。如果
05/31 23:50, 2F
→
05/31 23:50, 5年前 , 3F
你指得是訓練完成後在做評估就失去vaildation的意義了吧
05/31 23:50, 3F
→
05/31 23:50, 5年前 , 4F
？
05/31 23:50, 4F
→
06/01 00:13, 5年前 , 5F
抱歉，更正一下。訓練完成後再做驗證，確實是做internal
06/01 00:13, 5F
→
06/01 00:13, 5年前 , 6F
validation是一樣的意思。
06/01 00:13, 6F
→
06/04 00:00, 5年前 , 7F
如同你前面的論述，比較嚴謹的人會覺得不算internal
06/04 00:00, 7F
→
06/04 00:01, 5年前 , 8F
validation，他們覺得必須是在訓練的過程使用到才算
06/04 00:01, 8F
→
06/04 00:03, 5年前 , 9F
但我個人覺得只是一種估計再現率高低的方式，所以算是
06/04 00:03, 9F
→
06/04 00:04, 5年前 , 10F
後來我還是採取了比較嚴謹的說法，供大家參考
06/04 00:04, 10F
‣ 更多 yuanandy 的文章
文章代碼(AID): #1Sxfv4Zd (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 yuanandy 的文章
文章代碼(AID): #1Sxfv4Zd (DataScience)