[請益] 為什麼現在新的深度學習模型都很少割出te

看板Soft_Job作者 (督人無數就是我)時間2年前 (2021/08/14 16:12), 編輯推噓12(12推 0噓 15→)
留言27則, 10人參與, 2年前最新討論串1/1
"為什麼現在新的深度學習模型都很少割出test dataset?" 在進行實驗的時候, 發現近三年來的研究工作, 很多都沒有切割test dataset, 論文裡也沒有列出test dataset的實驗結果. 反而都直接以validation dataset包含test dataset. 比例也從以往常用 train:val:test = 8:1:1 (7:2:1) 變成 train:val = 8:2 很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例. 為什麼現在新的深度學習模型都很少割出test dataset? 這些新模型其實只是舉手之勞就可以做這到件事, 而且按照指導教授的要求, 論文裡要是沒有test dataset的實驗結果, 應該是不能被刊登. 不得其解... 大大們可以詳細說明解釋這個原因嗎? 還有, 想知道指導教授的堅持是對的嗎? 先謝謝各位深度學習的高手~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1628928727.A.BDC.html
推
08/14 16:26, 2年前 , 1F
請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎？
08/14 16:26, 1F
推
08/14 16:39, 2年前 , 2F
一般的benchmark應該是光data就有分train/test吧 哪有必
08/14 16:39, 2F
→
08/14 16:39, 2年前 , 3F
要再把train的一部分拿去切test
08/14 16:39, 3F
推
08/14 17:19, 2年前 , 4F
有DataScience板
08/14 17:19, 4F
推
08/14 17:32, 2年前 , 5F
你要相信投上的paper 還是相信你教授的話
08/14 17:32, 5F
→
08/14 18:34, 2年前 , 6F
本質上並沒有 test ，都看到的ground truth，大家一起調
08/14 18:34, 6F
→
08/14 18:34, 2年前 , 7F
分數就好啦，除非像 kaggle，有一個公正方把 test 藏起
08/14 18:34, 7F
→
08/14 18:34, 2年前 , 8F
來不給看，大家不要 overfit valid 才有意義
08/14 18:34, 8F
推
08/14 20:51, 2年前 , 9F
除非不曉得test set的label 不然有沒有切是一樣的
08/14 20:51, 9F
推
08/14 23:06, 2年前 , 10F
哪些 paper 沒有切 test set 啊好奇
08/14 23:06, 10F
推
08/14 23:37, 2年前 , 11F
你可以舉例你看的文章嗎？因為通常都會有公定的benchmark
08/14 23:37, 11F
→
08/14 23:37, 2年前 , 12F
來比較分數，不太有可能會有你說的只report validation se
08/14 23:37, 12F
→
08/14 23:37, 2年前 , 13F
t的成績
08/14 23:37, 13F
推
08/15 00:08, 2年前 , 14F
有小型dataset 一載下來就切 train 和test 而已 說到底vali
08/15 00:08, 14F
→
08/15 00:08, 2年前 , 15F
dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測
08/15 00:08, 15F
→
08/15 00:08, 2年前 , 16F
哪有什麼差
08/15 00:08, 16F
→
08/15 00:10, 2年前 , 17F
並不是paper 不切 而是dataset 本身就沒切三份
08/15 00:10, 17F
推
08/15 00:13, 2年前 , 18F
08/15 00:13, 18F
→
08/15 00:16, 2年前 , 19F
我這篇CVPR paper的室內資料集就是切train和test而已
08/15 00:16, 19F
推
08/15 00:31, 2年前 , 20F
然後很特別是這篇是從train data 再切validation出來
08/15 00:31, 20F
→
08/15 00:32, 2年前 , 21F
08/15 00:32, 21F
→
08/15 00:36, 2年前 , 22F
這篇hawp同樣用上面那篇的dataset就沒再切validation出來
08/15 00:36, 22F
→
08/15 00:38, 2年前 , 23F
所以一個validation真的是各種表態 唯一不變的是 人家拿的
08/15 00:38, 23F
→
08/15 00:38, 2年前 , 24F
那份，你要稱validation還是稱test 的dataset要拿去當評分
08/15 00:38, 24F
→
08/15 00:38, 2年前 , 25F
標準的 就絕對不能那下去訓練就對了
08/15 00:38, 25F
推
08/15 01:10, 2年前 , 26F
validation的評估指標參與模型選擇 跟test是有差的
08/15 01:10, 26F
推
08/15 21:28, 2年前 , 27F
sooge是國人? 該篇作者都是大陸人耶
08/15 21:28, 27F
‣ 更多 ruthertw 的文章
文章代碼(AID): #1X5thNlS (Soft_Job)