[標的] 大盤 空 (機器學習應用)

看板Stock作者 (好啊...)時間5年前 (2018/08/12 14:29), 5年前編輯推噓38(39推 1噓 16→)
留言56則, 42人參與, 5年前最新討論串1/1
1. 標的：台指與台指期 2. 分類：空，台指跌43點，台指期跌67點 3. 分析/正文： 1. 預測依據 利用台灣和數個國家的收盤資料來做機器學習/資料探勘 進行每日的台指(TAIEX)和台指期(TX)之收盤價預測 2. 預測表現 漲跌預測成功機率平均65%，數值誤差平均約60點 未來會繼續改善，目前在尋找非價格/交易量的指標 3. 收費...啊 不是啦，是web app 整個成果可透過底下連結觀看，每天早上8:10前更新預測和其他資料 https://memic-prediction-platform.shinyapps.io/TAIEX/ 除了預測外，也可以觀賞圖形視覺化的歷史數據 app介紹影片 https://www.youtube.com/watch?v=t04PkwMeJfw
阿豆仔發音是用text to speech，有的發音會有點趣味 如果文法有誤的話，那是我個人問題... app使用中文說明 https://goo.gl/dHHrxG 備註：使用英文做app是因為windows下的R+shiny，直接用中文悲劇 所以要繞道來中文化 (裡面的台灣指數綜覽3D圖的id有中文化) 未來會陸續完成 4. 線上機器學習DIY 如果有data的人，想要搭配系統內建資料做線上機器學習自己做預測 可再站內信給我，我再貼app連結/測試帳密給你 系統會自己幫你資料前處理/調模型參數，所以只要有data就能做 你的data只會成為雲端上的暫存檔，不會寄給我 不過這個好像很少人會用到，我給朋友試玩沒人在用Orz... 但它又吃資源，所以我就把它設定成另一個app了 5. 其它 在學習機器學習/資料探勘時，除了比賽，也想做些成品 目前市售商品，沒看到有大盤指數每日預測值/線上機器學習 因此就嘗試做看看，希望能對大家有幫助 如果願意推/噓文給點使用心得，對我繼續改良會很有幫助 甘溫啦 4. 進退場機制：(非長期投資者，必須有停損機制) 這難倒我了... 目前還沒計算出適合的停損點 (沒有每日逐筆交易資料) 我是龜仔 如果與預測相反，TX漲個10點就停損 (已經超過平均絕對誤差了) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.121.83.111 ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1534055391.A.4DD.html
推
08/12 14:37, 5年前 , 1F
讚！
08/12 14:37, 1F
推
08/12 14:43, 5年前 , 2F
machine learning 推個
08/12 14:43, 2F
推
08/12 14:51, 5年前 , 3F
推一個
08/12 14:51, 3F
推
08/12 14:56, 5年前 , 4F
confusion matrix貼出來看看，65%可能只中一邊吧(漲或跌)
08/12 14:56, 4F
https://goo.gl/yvNT4k test set的結果，除了confusion matrix還有其它的
噓
08/12 15:05, 5年前 , 5F
賠錢的是人不是機器
08/12 15:05, 5F
推
08/12 15:11, 5年前 , 6F
漲跌預測成功機率平均65%...
08/12 15:11, 6F
推
08/12 15:16, 5年前 , 7F
差有點多
08/12 15:16, 7F
推
08/12 15:17, 5年前 , 8F
您還要加一個牠是鬼股的變數！
08/12 15:17, 8F
這很多人說 但我找不到鬼股變數啊 哈哈
推
08/12 15:19, 5年前 , 9F
好久沒看到B大的程式選股標的文了
08/12 15:19, 9F
你一說就出來了
推
08/12 15:24, 5年前 , 10F
有賺賠比可供參考嗎？
08/12 15:24, 10F
你可以看首頁台指期dashboard右下角那個圖 它是累積投資收益 模擬當沖的結果 但因為沒有逐筆交易資料 所以就設定買價=昨日收盤價 (不符合就不進場) 然後用當日收盤價平倉 交易成本 = 120 + 當日收盤價*0.008 65%獲利不是正的 所以假如有人有自己的data 搭配系統原本的data，那就有機會~~ 當然交易策略調整也有機會變正 但沒逐筆交易沒得模擬 之後再買資料來用~~ 至於台指部分 我預計是搭配個股連動的狀況來模擬 (BA LAB第一個圖) 這比較複雜 等構思好了才會修改
推
08/12 15:26, 5年前 , 11F
救命
08/12 15:26, 11F
→
08/12 16:07, 5年前 , 12F
65%........ 90%再來好不好.....
08/12 16:07, 12F
推
08/12 16:23, 5年前 , 13F
等等又要有一堆自以為是專家的跳出來了
08/12 16:23, 13F
推
08/12 16:43, 5年前 , 14F
推個
08/12 16:43, 14F
推
08/12 16:45, 5年前 , 15F
勝率比跟我反著做還低，我建議大家乾脆跟我作對
08/12 16:45, 15F
推
08/12 16:46, 5年前 , 16F
推一個
08/12 16:46, 16F
→
08/12 16:46, 5年前 , 17F
以後我每天9點PO文，大家來反著做即可
08/12 16:46, 17F
嘿man 這是好點子 我本來是有設定給大家直接填你覺得明天台指/台指期收盤價會多少 可以做成一個群眾智慧的預測結果 (簡單來說就是平均值) 但因為一個人做 所以之前都先把系統和架在server的事情搞定QQ
推
08/12 16:58, 5年前 , 18F
空在高點，大家都知道
08/12 16:58, 18F
推
08/12 17:24, 5年前 , 19F
Shiny server估計撐不住大家用吧，plotly的圖XD
08/12 17:24, 19F
嘿呀 我忘了補充 手機的瀏覽效果也比較不好，因為plotly的圖可以放大縮小 手滑過去會觸發該功能 造成要換頁很困擾 我再試著解決看看 highcharter不知道會不會好點 在資源處理上 這個我有付費使用 結果只做了drag ball...XD
推
08/12 17:34, 5年前 , 20F
回文酸的通常用的最爽
08/12 17:34, 20F
推
08/12 18:03, 5年前 , 21F
給認真推
08/12 18:03, 21F
推
08/12 18:11, 5年前 , 22F
做的精美給推
08/12 18:11, 22F
推
08/12 18:15, 5年前 , 23F
剛開始的模型準確度不高是正常的 慢慢train上去就好
08/12 18:15, 23F
我目前改進方向是收新data 還有比較極端的一些物理性特徵值
推
08/12 18:30, 5年前 , 24F
推
08/12 18:30, 24F
→
08/12 18:35, 5年前 , 25F
我比較想要知道勝率65%有沒有考慮交易成本
08/12 18:35, 25F
65%等於是預測與實際漲跌同向，但還不能知道獲利狀況 所以首頁dashboard右下角的trading result 才有去考慮交易成本 買進賣出價 去算累計值(同之前回推文的說明) test set的模擬資料是完全沒拿來建模的最近150交易天 避免模型偷窺結果overfitting 這樣去評估我自己用也比較有信心
推
08/12 18:53, 5年前 , 26F
看起來似乎是順勢系統? 預測高低點LAG現貨1天
08/12 18:53, 26F
→
08/12 18:55, 5年前 , 27F
有趨勢盤較容易獲利 但是盤整盤(尤其是漲跌相間)容易被巴
08/12 18:55, 27F
有可能會變成這樣，但我每天新預測值出來看一下 有時不會 至於你說究竟是怎麼得到預測結果 我只有2D樹狀圖協助判讀 它是用樹狀圖去學習已學習模型 (複雜的 想像是1000顆樹狀圖的合體) 然後產生出來的簡易結果 這是目前機器學習被採用疑慮高的地方 使用者很難了解結論是怎麼出來的 這部分也是我努力的方向之一
推
08/12 19:03, 5年前 , 28F
想請問每個col是如何做預處理的?看決策樹好像是標準化?
08/12 19:03, 28F
很多...因為我怕原本feature的太長遮到樹狀圖 就把它們代碼化了 之後處理好會再還原 但目前觀察到最重要的就是帶進指數的前日漲跌幅 其它是跟原始數據相關的 有一些既有的package雖然可以直接抓到data 但有的有錯 尤其是近些天交易日的 所以後來就自己寫爬蟲和處理 有些數值就必須要類比創造出來 還有像yahoo investing的網站抓的資料，例如交易量 通常在我們開市前還沒出來 所以我交易量這部分就不納入訓練的feature，避免每天預測都要自己去補NA值
推
08/12 19:06, 5年前 , 29F
很符合現今潮流
08/12 19:06, 29F
推
08/12 19:07, 5年前 , 30F
你是冠軍嗎？ 比賽的
08/12 19:07, 30F
你說Tbrain嗎？不是冠軍 我那個比賽每天都是壓跌 因為歷史pattern顯示出現這樣的機率也是有的 (當然漲得更多啦XD) 最後有去吃晚宴
→
08/12 19:12, 5年前 , 31F
各位仔細看他的趨勢幾乎都平移一個點，我相信你把
08/12 19:12, 31F
→
08/12 19:12, 5年前 , 32F
過去表現也類為x變數考慮導致
08/12 19:12, 32F
→
08/12 19:13, 5年前 , 33F
65....
08/12 19:13, 33F
→
08/12 19:13, 5年前 , 34F
這樣做至少不會太差，但准不准如何有效定義就看個人了
08/12 19:13, 34F
是的，所以我試著在dashboard放了專為評估有效與否的模型誤差值 和valid/test set 的模擬投資結果 如何確保有用 (或降低預測值使用的風險) 是極為重要的
→
08/12 19:17, 5年前 , 35F
跌-67是漲的意思嗎
08/12 19:17, 35F
推
08/12 19:32, 5年前 , 36F
感謝分享，推
08/12 19:32, 36F
→
08/12 20:35, 5年前 , 37F
-67...我改回來 好囧 因為我原本是用+/-號 寫跌又寫-
08/12 20:35, 37F
※ 編輯: TreeMan (122.121.83.111), 08/12/2018 20:36:04
推
08/12 20:37, 5年前 , 38F
有趣給推
08/12 20:37, 38F
推
08/12 21:33, 5年前 , 39F
65%其實不錯了吧
08/12 21:33, 39F
※ 編輯: TreeMan (122.121.83.111), 08/12/2018 22:24:50
推
08/12 22:06, 5年前 , 40F
台股其實做這個沒什麼意義 因為台股漲跌是看大戶心情
08/12 22:06, 40F
推
08/12 22:23, 5年前 , 41F
有趣
08/12 22:23, 41F
推
08/12 22:32, 5年前 , 42F
推一個 來觀察看看
08/12 22:32, 42F
推
08/12 23:25, 5年前 , 43F
漲跌acc出來有快70%其實滿強的了..CM看起來也沒問題
08/12 23:25, 43F
→
08/12 23:34, 5年前 , 44F
如果以特定區域類股來說 機器學習是有參考價值的 但
08/12 23:34, 44F
→
08/12 23:34, 5年前 , 45F
說到大盤 目前還沒有有力的論證支持 加油 65%聽起來
08/12 23:34, 45F
→
08/12 23:34, 5年前 , 46F
很猛
08/12 23:34, 46F
推
08/13 01:01, 5年前 , 47F
之前有本書就提到machine learning應用在股票 等到樣本數
08/13 01:01, 47F
→
08/13 01:01, 5年前 , 48F
跟時間拉長到一個地步 漲跌就跟擲硬幣的機率一樣了
08/13 01:01, 48F
推
08/13 01:08, 5年前 , 49F
如果能利用數據分析找出同質性關聯性高的個股 再套用model
08/13 01:08, 49F
→
08/13 01:08, 5年前 , 50F
預測 不知道準確率如何
08/13 01:08, 50F
這位大大不知道會不會看到回文 的確有個用法是大盤預測 搭配BA LAB這個子區塊裡面的第一張heatmap 它就是在說明大盤跟個股 在長短期的關聯性 (黃色代表高度正相關 深藍色代表高度負相關) 最後再搭配HBI_1 但是這還不完整 所以我還沒正式把它列到用途上 因為有可能他們不是線性相關，而是非線性 HBI_1現在看起來運作良好，但也要進行更嚴謹的驗證 一定要贏擲硬幣 所以要嚴謹的評估準確度 這是我在裡面盡量呈現的 我今天多加了一個極值觀測 (連續預測相反的次數) 應該可以幫助了解模型在近期預測的健康程度
推
08/13 09:32, 5年前 , 51F
很強 給推
08/13 09:32, 51F
→
08/13 09:33, 5年前 , 52F
R Shiny 真的不錯用
08/13 09:33, 52F
推
08/13 09:35, 5年前 , 53F
看起來有用到Random forest?
08/13 09:35, 53F
有時會讓他auto跑跑 可能stackensemble會用到 這個app目前都用gradient boosting machine 但random forest速度棒棒 其它規劃中的app可能會用到
推
08/13 11:32, 5年前 , 54F
大勝
08/13 11:32, 54F
推
08/13 14:05, 5年前 , 55F
今天預測好像差200點???
08/13 14:05, 55F
推
08/13 16:43, 5年前 , 56F
方向對 不過點數差異甚大
08/13 16:43, 56F
沒錯...改進中 雖然本來是想讓大家比較省事不用再收集系統已有的交易資料 只要專心研究自己認為有用的 (例如 新聞語意分析的量化結果) 國外的特殊動態等等 然後搭配線上ML 去產生自己更準確的預測值 ※ 編輯: TreeMan (122.121.83.111), 08/13/2018 23:08:56
‣ 更多 TreeMan 的文章
文章代碼(AID): #1RRzFVJT (Stock)