Fw: [心得] 資料工程師 X FinMind 架構解析

看板Python作者f496328mm (123)時間8月前 (2023/08/11 23:38)推噓3(3推 0噓 2→)

留言5則, 4人參與討論串1/1

※ [本文轉錄自 Soft_Job 看板 #1arbMUoh ] 作者: f496328mm (123) 看板: Soft_Job 標題: [心得] 資料工程師 X FinMind 架構解析時間: Fri Aug 11 23:36:59 2023 大家好，我是 FinMind，開源金融數據的作者 https://github.com/FinMind/FinMind 在上次，濃縮個人好幾年的工作經驗、FinMind 專案開發經驗出版了資料工程師書籍，迴響不錯今年花了 8 個月的時間，在第一版書上，擴增了 50% 的內容其中新增了 1. 分散式 Airflow 介紹、架設，提供大量範例，並與爬蟲做結合!!! 2. 業界常用的監控系統 - Grafana & Prometheus，介紹與架設。 3. 並將書中介紹的各項服務，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都與監控系統做串接，製作統一的 Dashboard 監控儀錶板工具!!! 這樣本書就算是一本，完整的資料工程師攻略了，包含 * 分散式爬蟲 * 資料庫架設 * API 架設 * 雲端系統 * Docker、Docker Swarm * Unit Test * CICD * ApacheBench 壓力測試 * Traefik 反向代理 * Redash BI 報表 * 分散式 Airflow * 業界知名的 Grafana 監控系統一本書涵蓋大量資料工程師的技能樹。甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 ) 目前書在天瓏書局預售中。各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的支持。 https://www.tenlong.com.tw/products/9786267273739?list_name=lv -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.86.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1691768222.A.CAB.html ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: f496328mm (114.44.86.129 臺灣), 08/11/2023 23:38:45