[問題] 用資料庫比對或是AP比對

看板Programming作者smallyou1988時間10年前 (2015/05/31 18:11)推噓0(0推 0噓 15→)

留言15則, 3人參與討論串1/2 (看更多)

請問各位大德假設有兩百個檔案(或更多) 每個檔案筆數是40000(四萬)筆資料庫資料大約是幾千萬筆目標是要將每個檔案去碰資料庫內存有的資料，然後做比對環境只能用 UNIX的/bin/sh 和資料庫那該怎麼做會比較佳呢? 檔案內容比如說: number|starttime|endtime|sum 1111|04/01/2015|04/30/2015|10 1111|04/01/2015|04/30/2015|30 2222|04/01/2015|04/30/2015|20 2222|04/01/2015|04/30/2015|40 5555|04/01/2015|04/30/2015|10 9999|04/01/2015|04/30/2015|7 要將檔案的number去和資料庫內的某個table碰number後，得到number2(primary key) 再去其他table用number2做搜尋且加總用量(sum)，然後比對! 目前的做法: 寫迴圈一個一個檔案load進資料庫temp table內用sql去執行比對再unload下來，但是效能不佳(每個檔案都要跑大概15~20分鐘) temp table加上index似乎也不會變快改良的想法: 目前我想到的改良作法是一次將資料庫所需資料unload下來再用程式(可能開五支或更多背景程式)去執行grep之類的這樣也不會耗太多DB資源這樣會不會有點多餘或是這是糟糕的想法呢? 是否請大德們可以給點建議或是提示呢? 謝謝 ^^ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 182.235.82.125 ※ 文章網址: https://www.ptt.cc/bbs/Programming/M.1433067117.A.448.html

→

MOONRAKER

05/31 18:13, , 1^F

05/31 18:13, 1^F

→

smallyou1988

05/31 18:15, , 2^F

05/31 18:15, 2^F

→

MOONRAKER

05/31 18:49, , 3^F

05/31 18:49, 3^F

大大您好我sql比對寫法是包在shell內，內容大意如下: for迴圈 do db語法 << EOF create temp table aa(...省略 ) with no log; load from 檔案 insert into aa; unload to mydata.txt select 所需欄位 from aa a, XXXtable b, outer XXXtable c where b.id=a.id and b.id=c.id and (...這裡下的一堆條件都是按照資料庫現有index順序下的) group by 欄位 EOF done 其實就是這樣而已，並沒有甚麼特別之處但是就是很慢不管是條件順序或是temp table的index我都調過或加過 DB不只我程式會執行還有其他人程式也會去做其他作業不曉得大大覺得哪邊可以調整呢? :D ※ 編輯: smallyou1988 (182.235.82.125), 05/31/2015 22:25:19 ※ 編輯: smallyou1988 (182.235.82.125), 05/31/2015 22:27:01