[心得] 資料工程師 X FinMind 架構解析
看板Soft_Job作者f496328mm (123)時間1年前發表 (2023/08/11 15:37), 1年前編輯推噓20(20推 0噓 10→)留言30則, 21人參與, 1年前最新討論串1/1
大家好,我是 FinMind,開源金融數據的作者
https://github.com/FinMind/FinMind
在上次,濃縮個人好幾年的工作經驗、FinMind 專案開發經驗
出版了資料工程師書籍,迴響不錯
今年花了 8 個月的時間,在第一版書上,擴增了 50% 的內容
其中新增了
1. 分散式 Airflow 介紹、架設,提供大量範例,並與爬蟲做結合!!!
2. 業界常用的監控系統 - Grafana & Prometheus,介紹與架設。
3. 並將書中介紹的各項服務,Netdata、MySQL、RabbitMQ、Airflow、Traefik,都
與監控系統做串接,製作統一的 Dashboard 監控儀錶板工具!!!
這樣本書就算是一本,完整的資料工程師攻略了,包含
* 分散式爬蟲
* 資料庫架設
* API 架設
* 雲端系統
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 壓力測試
* Traefik 反向代理
* Redash BI 報表
* 分散式 Airflow
* 業界知名的 Grafana 監控系統
一本書涵蓋大量資料工程師的技能樹。
甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 )
目前書在天瓏書局預售中。
各位對大數據、資料工程有興趣的話,可以參考看看,也感謝大家對開源專案一路以來的
支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.86.129 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1691768222.A.CAB.html
推
08/11 23:44,
1年前
, 1F
08/11 23:44, 1F
推
08/12 00:14,
1年前
, 2F
08/12 00:14, 2F
推
08/12 03:12,
1年前
, 3F
08/12 03:12, 3F
推
08/12 03:26,
1年前
, 4F
08/12 03:26, 4F
→
08/12 08:31,
1年前
, 5F
08/12 08:31, 5F
→
08/12 09:25,
1年前
, 6F
08/12 09:25, 6F
→
08/12 10:13,
1年前
, 7F
08/12 10:13, 7F
→
08/12 10:24,
1年前
, 8F
08/12 10:24, 8F
→
08/12 10:24,
1年前
, 9F
08/12 10:24, 9F
推
08/12 10:36,
1年前
, 10F
08/12 10:36, 10F
推
08/12 10:41,
1年前
, 11F
08/12 10:41, 11F
推
08/12 16:51,
1年前
, 12F
08/12 16:51, 12F
推
08/12 17:01,
1年前
, 13F
08/12 17:01, 13F
推
08/12 18:33,
1年前
, 14F
08/12 18:33, 14F
推
08/12 20:32,
1年前
, 15F
08/12 20:32, 15F
推
08/12 23:02,
1年前
, 16F
08/12 23:02, 16F
→
08/12 23:58,
1年前
, 17F
08/12 23:58, 17F
→
08/12 23:58,
1年前
, 18F
08/12 23:58, 18F
推
08/13 00:05,
1年前
, 19F
08/13 00:05, 19F
推
08/13 15:39,
1年前
, 20F
08/13 15:39, 20F
推
08/13 20:02,
1年前
, 21F
08/13 20:02, 21F
推
08/14 07:29,
1年前
, 22F
08/14 07:29, 22F
→
08/14 07:31,
1年前
, 23F
08/14 07:31, 23F
→
08/14 07:31,
1年前
, 24F
08/14 07:31, 24F
拍拍,目前我在 17LIVE 的 data team,沒有用到 Spark
或許你可以參考以下職缺,還有在徵人
Requirements 也沒有提到 spark,應該可以試試看
https://www.swag.careers/senior-data-engineer
推
08/14 07:50,
1年前
, 25F
08/14 07:50, 25F
有喔,到時候再貼連結過來
→
08/14 11:06,
1年前
, 26F
08/14 11:06, 26F
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 11:29:46
推
08/14 16:14,
1年前
, 27F
08/14 16:14, 27F
感謝,技術真的都是業界實際在應用的
等出版後,會再附上電子書連結
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 16:57:43
推
08/15 16:57,
1年前
, 28F
08/15 16:57, 28F
推
08/17 07:07,
1年前
, 29F
08/17 07:07, 29F
推
08/18 12:34,
1年前
, 30F
08/18 12:34, 30F