[問題] bootstrap confidence intervals

看板DataScience作者 (小元)時間5年前 (2019/05/29 22:59), 編輯推噓0(0010)
留言10則, 2人參與, 4年前最新討論串1/1
各位前輩、大大們好, 小弟研究上有些問題想請教、確認自己了解是否有誤,如有錯誤還請不吝指教。 我想請問一下,在文獻中回報了bootstrap-generated confidence intervals, 是否就代表著有interval validation? 在我的認知上,internal validation是為了避免當model overfitting時 出現過於高估模型能力的情況, 所以在bootstrap中利用不斷的resample with replacement去修正過於樂觀的結果。 但是今天聽到有人說,bootstrap只有在運用在model developement時才算是有internal validation,倘若只有利用bootstrap在建好模型之後去評估模型表現則不算是有intern- al validation (像是只用bootstrap計算confidence intervals) 小弟不是很認同這樣的說法,因此想詢問一下大家怎麼看待的呢? 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 134.58.253.56 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1559141956.A.8E7.html

05/31 23:50, 5年前 , 1F
不太能理解你要表達的意思,bootstrap 抽樣做驗證的方法
05/31 23:50, 1F

05/31 23:50, 5年前 , 2F
是隨機取n個可放回的資料,剩下做validation set。如果
05/31 23:50, 2F

05/31 23:50, 5年前 , 3F
你指得是訓練完成後在做評估就失去vaildation的意義了吧
05/31 23:50, 3F

05/31 23:50, 5年前 , 4F
05/31 23:50, 4F

06/01 00:13, 5年前 , 5F
抱歉,更正一下。訓練完成後再做驗證,確實是做internal
06/01 00:13, 5F

06/01 00:13, 5年前 , 6F
validation是一樣的意思。
06/01 00:13, 6F

06/04 00:00, 4年前 , 7F
如同你前面的論述,比較嚴謹的人會覺得不算internal
06/04 00:00, 7F

06/04 00:01, 4年前 , 8F
validation,他們覺得必須是在訓練的過程使用到才算
06/04 00:01, 8F

06/04 00:03, 4年前 , 9F
但我個人覺得只是一種估計再現率高低的方式,所以算是
06/04 00:03, 9F

06/04 00:04, 4年前 , 10F
後來我還是採取了比較嚴謹的說法,供大家參考
06/04 00:04, 10F
文章代碼(AID): #1Sxfv4Zd (DataScience)