PTT數位生活區 / DataScience

[討論] api到DB的定期資料串流

看板DataScience作者 (我不玩了)時間2年前 (2022/04/13 11:41), 編輯推噓2(2推 0噓 1→)
留言3則, 2人參與, 2年前最新討論串1/1
如標題 敝人有一個case需要定期從某個api取得資料 稍微處理 並塞入到指定db中 同時往後有其他api資料來源的話因為格式可能不同 需要做針對異質資料來源其他處理模組 整合成統一格式再塞入 簡單來說就是整合異質資料並同質化的data loader 除了用比較土炮的爬蟲腳本服務化之外 還有比較好用的方式嗎 企業方向的解決方案也可？ 感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.11.173 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1649821270.A.231.html
推
04/13 13:04, 2年前 , 1F
Prefect, Dagster
04/13 13:04, 1F
推
05/01 09:35, 2年前 , 2F
最彈性的作法應該還是寫個script用排程來調動 ，air
05/01 09:35, 2F
→
05/01 09:35, 2年前 , 3F
flow之類的
05/01 09:35, 3F
‣ 更多 ms0344303 的文章
文章代碼(AID): #1YLaPM8n (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ms0344303 的文章
文章代碼(AID): #1YLaPM8n (DataScience)