[教學] FinMind 大數據專案X架構解析

看板Python作者 (123)時間3年前 (2021/11/05 21:22), 3年前編輯推噓9(900)
留言9則, 9人參與, 3年前最新討論串1/1
大家好,我是 FinMind,開源金融數據的作者 ( https://github.com/FinMind/FinMind ),今年花了 10 個月的時間,將 FinMind 所用到的技術、架構,整理成一本書,分享給 大家 (書中包含程式碼)。 由於大數據時代,多數人做的都是 ML、DL、資料分析,反而資料工程相關資源非常欠缺 ,但資料工程其實在整個大數據領域,是一個非常重要的位置。 因此,我將 FinMind 從 2017 開始到現在,一路以來的經驗,濃縮到這本書中。 從最基本的分散式爬蟲架構 RabbitMQ、Celery,MySQL 資料庫、雲端,到 FastAPI、 Docker Swarm、Unit Test、CICD、ApacheBench 壓力測試、Traefik 反向代理、Redash BI 報表等技術,都寫在書中。 集合各種 Data Engineer 的技能樹,甚至進階到 Senior Data Engineer ( 其中一部分 也跟 SRE、Backend 技能重疊 ),目前書在天瓏書局預售中。 各位對大數據、資料工程有興趣的話,可以參考看看,也感謝大家對開源專案一路以來的 支持。 https://www.tenlong.com.tw/products/9789860776522?list_name=b-r7-zh_tw -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.168.83 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1636118573.A.8F8.html ※ 編輯: f496328mm (1.162.168.83 臺灣), 11/05/2021 21:33:24

11/05 21:36, 3年前 , 1F
11/05 21:36, 1F

11/05 22:54, 3年前 , 2F
11/05 22:54, 2F

11/06 02:44, 3年前 , 3F
11/06 02:44, 3F

11/07 01:38, 3年前 , 4F
感覺不錯
11/07 01:38, 4F

11/07 09:49, 3年前 , 5F
11/07 09:49, 5F

11/07 11:01, 3年前 , 6F
有使用過 推推
11/07 11:01, 6F

11/08 10:16, 3年前 , 7F
有使用,推!
11/08 10:16, 7F

11/09 13:15, 3年前 , 8F
11/09 13:15, 8F

11/09 19:09, 3年前 , 9F
推推
11/09 19:09, 9F
文章代碼(AID): #1XXJ0jZu (Python)
文章代碼(AID): #1XXJ0jZu (Python)