Re: [討論] 跑實驗數據要跑多次取平均嗎

看板graduate作者clothg34569 (提拉)時間1年前 (2022/09/19 21:08)推噓16(16推 0噓 12→)

留言28則, 18人參與討論串2/2 (看更多)

路過看到這篇自己剛好有參與過幾篇ML相關PAPER 來隨手回一下想到啥就打啥可能有點亂另外有錯也麻煩推文講一下我再修改以下只講正規作法先不討論一些偷雞做法首先實驗的目的就是為了證明自己的架構/做法比別人更好那實驗重點就是要用嚴謹的方式來證明這一點以下先把資料來源分成三種 1. 公開Dataset 2. 自己產生Dataset (假資料) 3. 自己收集的Dataset (真實資料) 然後看文中似乎沒有很熟所以這邊稍微講一次 Training Dataset : 丟下去訓練的Dataset Validation Dataset : 訓練"時"驗證的Dataset Testing Dataset : 訓練"完"驗證Model成效的Dataset 其中Train Val選擇上都比較自由而Testing則是要固定才能在不同Model間有統一比較標準再來"通常"來說 Train Val Testing 應該彼此獨立不該有重疊資料但某些做法Train Val可以在特殊情況下重疊例如要觀察某個Data是否無法學習之類的而Test則是完全不該重疊 Test有重疊基本上就等於作弊了 ---- 以下討論不同種類資料來源時的分割法 1: 如果是1的話那就比較簡單了 Training Validation 使用公開Dataset中Trainning data 數量比例任意而Testing則是跑完公開Dataset中"所有" Testing data 結果一般而言是選自己Train出來Model中最好的那個 2: 由於是自己產生的假資料所以可以先假設資料本身算是均勻的再來因為是自己產生所以數量理論上可以看自己心情要加多少就多少那這時候通常是Train Val任意 Test則是參考相關Paper中他們最後Testset使用的Data數量再自己稍微加多一點例如別人通常用2000~4000張來Test的話自己可以抓個4000張~5000張之類的選好之後Testing應該要固定 *注意A 由於是自己產的Data 所以跟別人做比較時會有Model使用不同Data Train所造成的差異如果要證明自己架構比較好那應該要將別人的Model使用自己的Data Train過之後再跑同一組Test data做比較 3: 自己收集的真資料這時候可以假設資料是真實性高並且不均勻的如果想要驗證自己Model不會因為Data本身的Bias而造成結果差異過大可以跑推文中所提到的K-Fold 來證明選擇Testing的部分由於你資料是不均勻的所以選擇通常來說是均勻選擇資料本身的分布例如以人的年齡來說可能以5歲唯一級距然後從0~80歲分成16個Group 每1個Group中隨機選擇n張以保證最後Testdata的年齡分布是平均的選擇完Test data之後一樣Train Val自己任意分 Test data數量可以參考相關Paper中Real world Data的數量以及自己收集難度去估計例如別人Test Real World 300張自己只收集了600張那可能就拿其中200張當Test 另外驗證別人Model時同樣需要注意前面的注意A 最後通常來說 Train : Val 大約都是8:2 Test越多越好實務上通常是參考別人的數量自己做差不多數字 --- Model選擇上標準做法是選擇自己Validation最好的去跑Test 實際發Paper做法通常是把所有Model都拿去跑Test然後選最好的那組當結果... 至於時間上就自己看能負擔到哪吧更偷雞的做法就不提了多看多跑多比較就知道.... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.231.64.172 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/graduate/M.1663592894.A.8D0.html

推

qazStarStar

09/19 21:37, 1年前 , 1^F

09/19 21:37, 1^F

推

whatzup1124

09/19 22:25, 1年前 , 2^F

09/19 22:25, 2^F

推

zxp9505007

09/20 00:38, 1年前 , 3^F

09/20 00:38, 3^F