PTT數位生活區 / Database (資料庫)

[討論] 巨量資料的處理

看板Database (資料庫)作者 (haha)時間6年前 (2018/02/06 11:47), 編輯推噓1(1推 0噓 8→)
留言9則, 4人參與, 6年前最新討論串1/1
本身自己是寫程式出身, DB 上有些問題想問問大大先進 自己維護的 table 本身一個月以 500 萬筆資料成長 且該 table 有大概 30-40 個欄位 這樣的狀況造成在一些報表統計上 原本於 Weblogic 限制內可跑完的時間變得會 timeout index 也一直有在加上去 但是有時候報表統計的 group 不同總覺得一直開 index 下去不是辦法 所以不知道有沒有業界的大大碰到類似的問題 可否指教通常會怎處理呢？ 目前僅限縮查詢範圍跟輸入一些必要條件 但是處於公家單位, 其覺得資料應該都可以調閱且分析 所以真得很進退兩難 有時候資料甚至沒法給個完整結案的時間, 好先做一些數字資料統計 QwQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.109.157 ※ 文章網址: https://www.ptt.cc/bbs/Database/M.1517888869.A.198.html
→
02/06 22:20, 6年前 , 1F
如果你的資料寫進去就沉下去不會改 那可以考慮
02/06 22:20, 1F
→
02/06 22:21, 6年前 , 2F
另外開一台DB 或是分散式計算 用來跑報表
02/06 22:21, 2F
→
02/06 22:24, 6年前 , 3F
或是先把固定樣式的資料算好暫存 就不用每次從頭算
02/06 22:24, 3F
→
02/06 22:25, 6年前 , 4F
硬體的話就換全快閃儲存加大記憶體
02/06 22:25, 4F
→
02/07 17:54, 6年前 , 5F
剛好都會一直在改很頭痛 QQ
02/07 17:54, 5F
→
02/07 23:36, 6年前 , 6F
我猜DB只有一台，且WLS的thread都會卡死在DB是嗎?
02/07 23:36, 6F
→
02/22 15:39, 6年前 , 7F
DB 有兩台, 但是 weblogic 限定查 5 mins
02/22 15:39, 7F
→
02/22 15:39, 6年前 , 8F
因為資料量太大造成超過 5mins timeout
02/22 15:39, 8F
推
02/28 22:33, 6年前 , 9F
請改用 OLAP 類型的 DB 來處理報表，又快又不用 index
02/28 22:33, 9F
‣ 更多 newvalentine 的文章
文章代碼(AID): #1QUILb6O (Database)
Database 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 newvalentine 的文章
文章代碼(AID): #1QUILb6O (Database)