Re: [問題] Validation set 到底在做什麼?
※ 引述《lucien0410 (lucein)》之銘言：
: 可是可是我的問題沒有回答到 (是我一開始沒問對問題)
不如你來回答問題, 你怎麼知道模型要訓練到什麼時候(epoch size)?
: 換個方式講
: 假設我有兩份已知資料(AB兩份資料）
: A拿來訓練
: B拿來測試
: B的測試結果告訴我們成果到底怎樣 公平的驗證
: B就是終極測試
這樣做當然很好, 但代價也很昂貴.
回到上面的問題, 你需要驗證多少次? 每個epoch驗證一次?
更別提很多時候是沒辦法這樣做的.
(ex. B沒有答案. 有的話我會拿來做訓練)
: 但其實訓練A之前 可以調整很多hyperparameter
: 所以就先把A切成 a b
: 拿a 訓練 b 測試 找尋最佳的hyperparameter
: 找到後 再依這樣的設定訓練A (期待B的測試會最好)
: 但是OpenNMT要求在訓練小寫a時也必須提供val set
: 這就是我的問題了
他就是邊訓練邊測試啊, 不然你怎麼知道訓練得如何了?
其實就是把你想手動做的事情自動化啦.
如果你有看他的說明書:
Validation files are required and used to evaluate
the convergence of the training.
It usually contains no more than 5000 sentences.
第一句就是前面講的.
第二句的意思是做這個很浪費時間. (別誤會, 是學問很大的意思)
然後"找尋最佳的hyperparameter"也不是很重要,
想太多不如先train下去, train久了就有fu了.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.95.100
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522167550.A.382.html
推
03/28 00:39,
6年前
, 1F
03/28 00:39, 1F
推
03/28 00:42,
6年前
, 2F
03/28 00:42, 2F
推
03/28 02:50,
6年前
, 3F
03/28 02:50, 3F
推
03/28 02:56,
6年前
, 4F
03/28 02:56, 4F
推
03/28 07:51,
6年前
, 5F
03/28 07:51, 5F
→
03/28 07:51,
6年前
, 6F
03/28 07:51, 6F
推
03/28 16:11,
6年前
, 7F
03/28 16:11, 7F
推
03/28 17:21,
6年前
, 8F
03/28 17:21, 8F
推
03/28 17:30,
6年前
, 9F
03/28 17:30, 9F
推
03/28 17:30,
6年前
, 10F
03/28 17:30, 10F
→
03/28 17:31,
6年前
, 11F
03/28 17:31, 11F
→
03/28 17:31,
6年前
, 12F
03/28 17:31, 12F
推
03/28 17:46,
6年前
, 13F
03/28 17:46, 13F
推
03/28 18:02,
6年前
, 14F
03/28 18:02, 14F
→
03/28 18:04,
6年前
, 15F
03/28 18:04, 15F
→
03/28 18:05,
6年前
, 16F
03/28 18:05, 16F
→
03/28 18:07,
6年前
, 17F
03/28 18:07, 17F
推
03/28 21:40,
6年前
, 18F
03/28 21:40, 18F
→
03/28 21:40,
6年前
, 19F
03/28 21:40, 19F
討論串 (同標題文章)