Fw: [心得] 自建數據分析操盤系統

看板Trading作者cory8249 (Cory)時間6年前 (2018/04/02 16:47)推噓18(19推 1噓 20→)

留言40則, 23人參與討論串1/1

※ [本文轉錄自 Option 看板 #1QmUqh1N ] 作者: cory8249 (Cory) 看板: Option 標題: [心得] 自建數據分析操盤系統時間: Mon Apr 2 16:43:21 2018 金融交易變化萬千，到底要怎麼長期穩定賺錢 ? 我想是每個操盤投資人都想解的問題但真的有規律可尋嗎 ? 某某書寫說看 OOXX 指標金叉做多勝率 80% 真的嗎 ? 某某老師說他的程式回測績效超猛去年賺五倍現在我租了也要發了嗎 ? 還是跟著鄉民反著做聽說勝率很高 ? 以上都是我剛入場時，心裡的疑惑。充滿茫然，不知所措。既然這樣，身為一個資工系宅宅，乾脆自己用擅長的程式，實做數據分析吧！那要怎麼做? 要寫 MultiCharts 嗎? 還是自己寫 Excel DDE? C# API? -- 經過了一些嘗試與挫折後我發現市面上沒有任何一套工具可以滿足我做程式化數據分析的追求 ( 可能我的追求比較奇怪 ) 所以決定走上一條困難的路就是從頭到尾打造一套分析操盤系統從底層原始資料收集、資訊庫系統、演算法設計、圖表視覺化、網站前端即時呈現全部動手 DIY 自己做! https://i.imgur.com/QGlS3WZ.png

https://i.imgur.com/398CbpW.png

https://i.imgur.com/ZRMY8Bp.png

-- 以下分享這一年來做的工程細節沒有任何聖杯程式指標也沒有交易策略僅為數據分析系統實做經驗談沒興趣請趕快左轉 XDD -- 首先交易的 Raw Data 到底是什麼呢 ? K棒嗎 ? 均線 ? 就我目前來看，盤中主要有兩個：成交明細、五檔掛單 https://i.imgur.com/GOYB90D.png

K棒、線、技術指標，都是衍生來的，並非真正原始資料所以做數據工程，勢必要收集最原始的 data 以台指期來看每天成交約 6-7萬筆 10-15萬口如何收集這幾萬筆 Data 來分析勢必要透過行情報價API來達成國內免費的 Tick 報價我是用群益 C# API 它會以 Callback 形式回傳註冊的商品即時成交明細那如何蒐集有系統化的保存這些資料供接下來分析使用 ? 這時候勢必就把資料庫系統派上用場了我是用 PostgrSQL 而不是 txt csv 文字檔格式資料正規化永續性儲存對後續分析跟維護有非常大益處 https://i.imgur.com/zcHVA5J.png

目前抓的商品包含：大台小台周選月選指標性權值股 (不知不覺也累積3000萬筆了) 涵蓋大部分人會看有意義的標的商品之後要做各種不同的分析都會有幫助有報價即時存到資料庫之後接下來要開始認真要做分析這邊我選擇我擅長的 Python 來做而不是直接寫在 C# 畢竟在資料分析的領域毋庸置疑 Python 是目前最強大的也為之後要導入 AI / Deep Learning Model 做準備分析程式部份目前實做幾個我覺得很有意思的 1. 大戶/散戶成交累積變化 2. 選擇權均價 / 累積金額 3. 權值股開盤後當天強弱走勢 4. 權值股大單走向 5. 期貨買賣掛單變化細節就不講了反正有資料想算什麼都可以大家有興趣可以自己做畢竟每個人想看的的分析、操作方式都不一樣這邊可以看出如果不自己做系統現成軟體是很難辦到這些事情的不論 MC 還是 Excel 都幾乎得不到我要的分析再者我真正想做的分析才剛開始 XD -- 分析演算法寫完之後就要考慮怎麼呈現讓K棒會跳圖表數值會更新直接 Python Matplotlib 絕對是不行的寫 Qt/wx GUI 我覺得也不是一個好方法好在現在網頁 js 前端有一套很棒的 Lib 就是 TradingView 之前玩比特幣發現很多交易所都用那套可以接自己的 API 即時畫圖表所以大部分指標線圖性質的分析我都把它寫成 Web REST API 串接 TradingView 可以很縮放流暢的觀看 ( 哀看看現在的券商軟體跟我小時候看我爸在玩的時候根本沒什麼改變 ... 非線圖類的分析就要用 React / Chart.js 來寫了可以畫圓餅圖、長條圖、泡泡圖等等一樣先想好要做什麼怎麼開 Data API 怎麼呈現像是我覺得把選擇權 Call / Put 對稱上下擺用長條圖就很棒 -- 架構大概是這樣中間還蠻多坑的每個環節就是熬夜無數天才搞出來的也陸續找了一些人組發開團隊越弄越大 ( 不然後端、DB、前端、演算法、交易操盤、策略分析一個人吃不下啊 XD POST INSERT C# Quote API ------> Python Django --------> PostgreSQL SELECT GET PostgreSQL --------> Numpy / Pandas ---> Django REST API -----> TradingView -----> React/Chart.js ^ DLL | MC 策略 ------> Firebase DB ----------------------------------* 然後 ... 最近又開始大改版了因為這樣無法達到 Realtime 的速度所以開始接 Redis / RabbitMQ 同時雙 DB 雙報價源備援避免群益 API 會斷線/漏資料之後導入 WebSocket 推播也會比 Polling 更有效率同時也開始弄下單機取代 MC 這個讓我很不爽的東西 ... 搭配 LINE Bot 監控觸發推播部位風險計算警示等等終極目標: 全功能網頁版分析操盤系統 + 進階演算法自動下單 + 風控系統大概是這樣一點心得供大家參考只能說做這個真的很累非誠勿試光是搞 Infrastructure 就弄半天到底什麼時候可以重新回歸專心開發 Algo Trade 呢還有更深奧的 AI / Deep Learning Model 找了幾篇 paper 一直沒時間去實做都快要忘記 TensorFlow 怎麼寫了 XD -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.34.162 ※ 文章網址: https://www.ptt.cc/bbs/Option/M.1522658603.A.057.html

推

cc45612

04/02 16:45, 6年前 , 1^F

04/02 16:45, 1^F

推

mummyqq

04/02 16:46, 6年前 , 2^F

04/02 16:46, 2^F

※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: cory8249 (218.161.34.162), 04/02/2018 16:47:01

→

leolarrel

04/02 19:00, 6年前 , 3^F