[討論] NoSQL database 測試

看板Database (資料庫)作者 (假嗨)時間11年前 (2014/08/05 16:44), 11年前編輯推噓0(006)
留言6則, 3人參與, 最新討論串1/1
若內容有違版規請告知,我會立即刪除 問題: 我想請問一下,若是寫入1TB的資料量大約都要花費多久的時間?? 自己用Thrift測試,每筆rowkey 5個column value 以下是自己測得的時間數據: 1萬rowkey的資料大小約1.1MB HBase : 4~5 sec Cassandra : 3~4.5 sec 10萬rowkey的資料大小約10.3MB HBase : 13~15 sec Cassandra : 10~12 sec 100萬rowkey的資料大小約102MB HBase : 110~115 sec (約1分50秒左右) Cassandra : 101~108 sec (約1分30秒左右) (以上都是將column 批次蒐集後再寫入的結果,並沒有使用rowkey 對映一個column value 就寫入的作法) 觀察耗費時間幾乎呈線性成長,如果我依此推敲到1TB的資料大小 一次要寫入到資料庫,幾乎要花費1~2個禮拜(可能會超過2個禮拜) 想請問一下,各位是否有寫入1TB資料量的經驗? 想問各位大約知道會耗費多少時間?1天?7天?14天? 我這樣的推敲出1TB耗費的時間是否正確? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.218.68 ※ 文章網址: http://www.ptt.cc/bbs/Database/M.1407228287.A.DB0.html ※ 編輯: brandonron (140.127.218.68), 08/05/2014 16:46:48

08/06 16:01, , 1F
硬體因素也有關係..自已測最快
08/06 16:01, 1F

08/07 10:26, , 2F
回f大,自己測50GB花了快1天時間..平均1GB要13~15分鐘
08/07 10:26, 2F

09/03 09:33, , 3F
之前測試四台task tracker bulk load
09/03 09:33, 3F

09/03 09:33, , 4F
約 3.3TB 的資料匯了一天半
09/03 09:33, 4F

09/03 09:34, , 5F
應該還可以更快, 但是測試環境硬體設備很爛
09/03 09:34, 5F

09/03 09:35, , 6F
記憶體不足, bulk load map reduce 需要一直 spill
09/03 09:35, 6F
文章代碼(AID): #1Ju9b_sm (Database)
文章代碼(AID): #1Ju9b_sm (Database)