[問題] xgboost同原始資料當input，先經過轉換?

看板DataScience作者 (woogee)時間5年前 (2019/04/28 18:19), 5年前編輯推噓8(8推 0噓 22→)
留言30則, 6人參與, 5年前最新討論串1/1
不好意思，這個問題實在不知道怎麼下標題所以只好這樣下 是這樣的，最近有個project有點趕 內容比較不方便說明，這邊用舉例的 舉例為： 假設你目前僅有的資料是身高和體重 要預測他會喜歡4種商品的哪樣產品(multi class classification) 我的疑問為： 直接以"身高、體重"當input，使用xgboost預測 與 先以常用的已知公式bmi計算後再把"身高、體重、bmi"使用xgboost預測 是否可能會增加正確率? 會有這個疑問是因為bmi原本也是從身高、體重所衍生的資訊 如果原本身高體重就無法解釋喜歡哪樣商品 縱使增加了bmi這個資訊正確率仍然不會增加才對 但概念上，先計算出bmi與資料預處理(preprocessing)又有點類似 好的預處理確實會影響預測準確率 所以到底先經過一些原本已知的公式計算後當input，有沒有可能大幅增加正確率? 以上，先謝謝各位大大的指教 == 補充： 因為時間比較緊，我只能在 1. 撰寫一堆爬蟲趕快搜集蒐集更多資料 2. 撰寫一推不同的公式計算當input預測看看 兩個方式抉擇一種 又2的部分也有將近無限多種公式的種類 所以如果2的方式確定不可行，或是可行的機會太渺茫 我要把時間全部砸在1的方式處理 以上，謝謝各位 --
推
,
什麼長頸鹿果實 明明就牛牛果實長頸鹿型態
→
,
樓上 是馬馬果實吧
推
,
樓上 是牛==
推
,
樓上是羊
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.175.207 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1556446774.A.ADD.html ※ 編輯: woogee (1.171.175.207), 04/28/2019 18:27:44
推
04/28 19:46, 5年前 , 1F
Feature engineering就是trial and error
04/28 19:46, 1F
→
04/28 19:47, 5年前 , 2F
分類樹不會知道身高跟體重有bmi的關係
04/28 19:47, 2F
→
04/28 19:47, 5年前 , 3F
想無腦創變數就把你學過的所有數學轉換都丟進去
04/28 19:47, 3F
→
04/28 19:47, 5年前 , 4F
看importance有沒有差
04/28 19:47, 4F
→
04/28 19:48, 5年前 , 5F
但2的命中率可能會很低就是了
04/28 19:48, 5F
→
04/28 19:49, 5年前 , 6F
你創了100個變數 每個都是noise是有可能的
04/28 19:49, 6F
→
04/28 19:49, 5年前 , 7F
不試試不會知道的
04/28 19:49, 7F
→
04/28 19:50, 5年前 , 8F
最後還是要回應bmi那段 分類樹不是神啊
04/28 19:50, 8F
→
04/28 19:51, 5年前 , 9F
他不會自動幫你把各種變數做非線性轉換的
04/28 19:51, 9F
了解，意思是先做BMI確實有意義但機會很渺茫囉?
推
04/29 12:08, 5年前 , 10F
渺茫與否看你要預測啥 bmi應該一行code就可以解決
04/29 12:08, 10F
→
04/29 12:08, 5年前 , 11F
成本很低蠻值得試試的？
04/29 12:08, 11F
謝謝你，我瞭解了，公式都不難實現，只是公式種類極多(至少100種+) 常見的是有package可用這部分會試試看，感謝 ※ 編輯: woogee (1.171.175.207), 04/29/2019 14:51:58
推
04/29 21:04, 5年前 , 12F
我認為會，bmi 不是w h 的線性組合
04/29 21:04, 12F
推
04/29 22:48, 5年前 , 13F
bmi 可以算是推論得到的 latent variable
04/29 22:48, 13F
推
04/30 01:09, 5年前 , 14F
換個角度想的話，BMI對我們是一個很通用且可以對一個人的身
04/30 01:09, 14F
→
04/30 01:09, 5年前 , 15F
材做基本估量的標準，但是不見得對於你要做的預測是最有用
04/30 01:09, 15F
→
04/30 01:09, 5年前 , 16F
的feature，比如說身高的平方如果換成別的次方有可能表現還
04/30 01:09, 16F
→
04/30 01:09, 5年前 , 17F
更好，但沒試過都不會知道。
04/30 01:09, 17F
推
04/30 04:35, 5年前 , 18F
BMI基本上就身高體重簡單計算出來的結果
04/30 04:35, 18F
→
04/30 04:36, 5年前 , 19F
感覺不會有太大的幫助
04/30 04:36, 19F
→
04/30 04:38, 5年前 , 20F
到底有沒有幫助可能要試才知道，但感覺機會很渺茫
04/30 04:38, 20F
推
04/30 15:35, 5年前 , 21F
bmi的解釋也是人自創的一種metric而已 如果你要最小
04/30 15:35, 21F
→
04/30 15:35, 5年前 , 22F
化的函數跟這個值沒直接關係我是不覺得能改善多少
04/30 15:35, 22F
→
04/30 15:37, 5年前 , 23F
你可以用lightgbm啦 比xgboost快很多
04/30 15:37, 23F
推
05/03 11:11, 5年前 , 24F
從know-how角度看轉bmi是解釋得通，這也可以視為是種降
05/03 11:11, 24F
→
05/03 11:11, 5年前 , 25F
維(2個轉1個)，增加正確率其實不太客觀，應該要減少in o
05/03 11:11, 25F
→
05/03 11:11, 5年前 , 26F
ut error的差距才較好，若是用身高與體重當作變數去訓練
05/03 11:11, 26F
→
05/03 11:11, 5年前 , 27F
，有可能會有離群值導致overfitting，而轉成了bmi是有機
05/03 11:11, 27F
→
05/03 11:11, 5年前 , 28F
會減少離群值的數量，但這需要觀察身高、體重、bmi的分
05/03 11:11, 28F
→
05/03 11:11, 5年前 , 29F
布，如果轉bmi後準確率降低，但in out error差距變小，
05/03 11:11, 29F
→
05/03 11:11, 5年前 , 30F
這也是可以接受的結果
05/03 11:11, 30F
‣ 更多 woogee 的文章
文章代碼(AID): #1SnNushT (DataScience)