[問題] 關於decision tree與random forest

看板Statistics作者 (奪真書生A.W.)時間6年前 (2017/07/01 01:34), 編輯推噓7(7021)
留言28則, 5人參與, 最新討論串1/1
最近在研究decision tree跟random forest,不知道能不能跟各位大大請教實際執行的細 節呢? 1. Random forest的目的是不是要計算哪些變數比較重要,而不是選出最好的model?但要 算變數的重要性,一開始prune完後的tree裡前面幾個node不就代表是重要的嗎? 2. 接上題,跑完Random forest後,除了把變數重要性的圖畫出來後還要做什麼嗎?我們 如何根據這圖來改進model? 3. 就算我知道某變數第二或第三重要,要如何解釋呢?理論上,我跑decision tree的目 的,就是要知道interaction,也就是把資料切成小塊後不同塊再用不同變數切。那可能 某變數對某小塊資料很重要,但對全體平均而言不是最重要的。但我想知道的就是那小塊 的狀況啊!我要知道平均效果不是跑迴歸就好了? 感謝各位! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 152.3.43.176 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1498844091.A.434.html

07/01 03:23, , 1F
弱模型經過 ensemble 後,效果會變好,這就是RF的概念
07/01 03:23, 1F

07/01 03:25, , 2F
變數重要性,在對於variable selection時會有幫助,變
07/01 03:25, 2F

07/01 03:25, , 3F
數不是越多越好
07/01 03:25, 3F

07/01 03:32, , 4F
解釋部分,你可以從專業領域去解釋,單純一棵樹,你用
07/01 03:32, 4F

07/01 03:32, , 5F
不同變數切的順許會有影響,另外你只是對目前的樣本做
07/01 03:32, 5F

07/01 03:32, , 6F
分析,但我們更關心testing,這是你目前樣本沒有的,
07/01 03:32, 6F

07/01 03:32, , 7F
所以單純fitting training data沒有意義,這就是為什
07/01 03:32, 7F

07/01 03:32, , 8F
麼要有RF
07/01 03:32, 8F

07/01 03:34, , 9F
如果有錯請板上大大更正
07/01 03:34, 9F

07/01 04:44, , 10F
decision tree is noise sensitive
07/01 04:44, 10F

07/01 04:45, , 11F
加入小量隨機誤差 給出的變數重要度就可能完全不同
07/01 04:45, 11F

07/01 04:46, , 12F
用emsemble可以大大提升穩定度
07/01 04:46, 12F

07/01 04:52, , 13F
如果要用回歸判定變數重要度也是要用ensemble
07/01 04:52, 13F

07/01 04:52, , 14F
(參考multi-model inference)
07/01 04:52, 14F

07/01 16:09, , 15F
去看林軒田的youtube 結論跟上面幾位講的一樣 不過有比較
07/01 16:09, 15F

07/01 16:09, , 16F
詳細的推導
07/01 16:09, 16F

07/01 16:12, , 17F
DT如果不prune的話確實很sensitive to noise 不過有prune
07/01 16:12, 17F

07/01 16:12, , 18F
的話則好一點
07/01 16:12, 18F

07/01 16:14, , 19F
要調整RF參數的方法有很多種 但這關係到你的target functi
07/01 16:14, 19F

07/01 16:14, , 20F
on 可以去CrossValidated找討論 那有很多文章
07/01 16:14, 20F

07/01 17:11, , 21F
07/01 17:11, 21F

07/01 23:33, , 22F
基本上 RF 就是一個 ensemble 很好的實現
07/01 23:33, 22F

07/01 23:34, , 23F
現有DATA要怎麼做很多弱模型??
07/01 23:34, 23F

07/01 23:35, , 24F
第一個方法就是取 "部分變數" 進行建模
07/01 23:35, 24F

07/01 23:35, , 25F
第二個方法就是對 "部分樣本" 做建模
07/01 23:35, 25F

07/01 23:38, , 26F
去看林軒田的會比較好,這裡面很多東西可以講
07/01 23:38, 26F

07/01 23:38, , 27F
我們只是講個大概而已 裡面還有很多細節
07/01 23:38, 27F

07/03 13:31, , 28F
感謝大家~~~~
07/03 13:31, 28F
文章代碼(AID): #1PLekxGq (Statistics)