[問題] F檢定自由度問題與機器學習迴歸預測F檢定

看板Statistics作者 (帥氣翔)時間1年前 (2022/08/18 16:59), 編輯推噓1(1推 0噓 8→)
留言9則, 3人參與, 1年前最新討論串1/2 (看更多)
各位大大好， 小弟我的論文是在利用機器學習做迴歸數值的預測，但被口委詢問說有沒有用F檢定來看這個迴歸模型的預測力，如果沒有那R平方再高也沒用，但小弟我的資料有三百萬筆，測試集當作抽樣的話也有一百萬筆，探討迴歸模型的Beta係數是否全為0的F檢定，自由度為一百多萬，這樣出來的F值都非常奇怪，想問各位大大自由度的上限有沒有限制，或是口委的問題根本不適用於機器學習？ ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.64.236 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1660813140.A.205.html
→
08/18 17:41, 1年前 , 1F
既然是機器學習，準確度的判準幹嘛看R^2
08/18 17:41, 1F
→
08/18 17:42, 1年前 , 2F
另外預測準確度、和係數顯著是否異於0是兩回事
08/18 17:42, 2F
推
08/18 17:47, 1年前 , 3F
口委說的應該是 Lack-of-fit sum of squares 的 F test
08/18 17:47, 3F
→
08/19 08:30, 1年前 , 4F
"由度為一百多萬" 是分母自由度，分此時對迴歸係數的檢定可
08/19 08:30, 4F
→
08/19 08:31, 1年前 , 5F
以用 z test 和 chi-squr test.
08/19 08:31, 5F
→
08/19 08:36, 1年前 , 6F
Lack-of-fit 或 goodness-of-fit test 也許只能用模型比較
08/19 08:36, 6F
→
08/19 08:43, 1年前 , 7F
表示分母(MSE)很接近誤差變異數，而分子用平方和不用均方，
08/19 08:43, 7F
→
08/19 08:45, 1年前 , 8F
兩者相除即是卡方統計量，也就是 F統計量*分子自由度。
08/19 08:45, 8F
→
08/19 16:37, 1年前 , 9F
怪是怎麼怪？分母自由度很大並不是壞事啊。
08/19 16:37, 9F
‣ 更多 shy7shawn 的文章
文章代碼(AID): #1Y_VzK85 (Statistics)
‣ 更多 shy7shawn 的文章
文章代碼(AID): #1Y_VzK85 (Statistics)