[教學] FinMind 大數據專案X架構解析

看板Python作者f496328mm (123)時間2年前 (2021/11/05 21:22)推噓9(9推 0噓 0→)

留言9則, 9人參與討論串1/1

大家好，我是 FinMind，開源金融數據的作者 ( https://github.com/FinMind/FinMind )，今年花了 10 個月的時間，將 FinMind 所用到的技術、架構，整理成一本書，分享給大家 (書中包含程式碼)。由於大數據時代，多數人做的都是 ML、DL、資料分析，反而資料工程相關資源非常欠缺，但資料工程其實在整個大數據領域，是一個非常重要的位置。因此，我將 FinMind 從 2017 開始到現在，一路以來的經驗，濃縮到這本書中。從最基本的分散式爬蟲架構 RabbitMQ、Celery，MySQL 資料庫、雲端，到 FastAPI、 Docker Swarm、Unit Test、CICD、ApacheBench 壓力測試、Traefik 反向代理、Redash BI 報表等技術，都寫在書中。集合各種 Data Engineer 的技能樹，甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 )，目前書在天瓏書局預售中。各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的支持。 https://www.tenlong.com.tw/products/9789860776522?list_name=b-r7-zh_tw -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.168.83 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1636118573.A.8F8.html ※ 編輯: f496328mm (1.162.168.83 臺灣), 11/05/2021 21:33:24

推

abc95007

11/05 21:36, 2年前 , 1^F

11/05 21:36, 1^F

推

ToastBen

11/05 22:54, 2年前 , 2^F

11/05 22:54, 2^F

推

zenithyoung

11/06 02:44, 2年前 , 3^F

11/06 02:44, 3^F