PTT數位生活區 / Storage_Zone (儲存裝置)

[請益] RAID5(四顆)比單顆硬碟效能還慢, 怪~

看板Storage_Zone (儲存裝置)作者 (william)時間11年前 (2015/05/18 13:38), 編輯推噓15(15推 0噓 48→)
留言63則, 20人參與, 最新討論串1/1
最近在公司做實驗, 想要組一套的廉價的PC (為了組一群BigData用的主機群的先期測試) 設備清單如下: CPU:i7-4790 , RAM:8G*4 , M/B:ASUS H97M-E , SSD:M.2 128G & SATA 128G * 2 HDD:WD紫標3TB*4 , OS:CentOS_6.6_x64 測試指令: 大檔讀寫 dd if=/dev/md### of=/data/testfile bs=1G count=1 oflag=dsync 小檔讀寫 dd if=/dev/md### of=/data/testfile bs=512 count=1000 oflag=dsync 測試結果: SSD 單顆 : 大檔 144MB/Sec , 小檔 139KB/Sec HDD 單顆 : 大檔 259MB/Sec , 小檔 12.9KB/Sec HDD RAID5 : 大檔 43MB/Sec , 小檔 3.8KB/Sec HDD RAID0 : 大檔 427MB/Sec , 小檔 16.5KB/Sec 我們用的是主機板上內建的 Intel Rapid Storage 的 RAID 功能, 我們能夠理解他會用掉ㄧ些 CPU 效能, 但我們同樣去測試公司的機架式 PC Server 他內建的 RAID-5 也是一樣差不多的效能, 剛開始還嘲笑 Server 效能原來也不好 但測試後就是發現 RAID-5 效能就是很差 RAID-5 雖然寫入時雖然多了編碼的動作(資料膨脹), 但寫出時, 不是分別寫出到四顆硬碟上嗎? 每顆硬碟只分配到四分之一的資料量, 理論上應該比單顆(沒有RAID)的硬碟效能高吧? 即便他不是同時寫出到四顆硬碟, 而是依序逐步寫入到四顆硬碟(我不清楚實際的運作), 效能也不至於降得這麼低吧??? 請問網路上的大大們, 誰有實際RAID5的安裝經驗 而且實測過效能的, 請指點一下迷津吧, 感謝~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.236.237 ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1431927489.A.42A.html
推
05/18 13:41, , 1F
小檔合理但大檔怪怪的
05/18 13:41, 1F
→
05/18 14:57, , 2F
IRS這麼慢正常...
05/18 14:57, 2F
→
05/18 14:59, , 3F
bottleneck 是 controller 不是硬碟
05/18 14:59, 3F
推
05/18 15:18, , 4F
阿是不用計算嗎????
05/18 15:18, 4F
→
05/18 16:05, , 5F
很正常...主機板的RAID5就是這種效能
05/18 16:05, 5F
→
05/18 16:06, , 6F
RAID5不是正常的把資料切成四分
05/18 16:06, 6F
→
05/18 16:06, , 7F
以你的例子來說4顆硬碟RAID5會把資料切成三份
05/18 16:06, 7F
→
05/18 16:07, , 8F
再把這三分經過晶片組計算產生一組冗餘
05/18 16:07, 8F
→
05/18 16:08, , 9F
這組冗餘跟那三份資料有相關 只要失去三份的其中一
05/18 16:08, 9F
→
05/18 16:09, , 10F
份你可以透過利用冗餘反推算得到失去的那份資料
05/18 16:09, 10F
→
05/18 16:10, , 11F
因為這個過程RAID5的存取資料時都會有大量的計算
05/18 16:10, 11F
→
05/18 16:11, , 12F
那讀出的時候能不能只由三份資料以類似三顆硬碟
05/18 16:11, 12F
→
05/18 16:11, , 13F
RAID 0一般? 答案是不行 資料在讀取時也會與冗餘比
05/18 16:11, 13F
→
05/18 16:12, , 14F
對進行錯誤驗證確保資料的可靠性
05/18 16:12, 14F
→
05/18 16:16, , 15F
要做RAID5光靠主機板晶片是不可行的
05/18 16:16, 15F
→
05/18 16:16, , 16F
除非你能夠接受你測出來的那種效能
05/18 16:16, 16F
→
05/18 16:17, , 17F
如果用專業的RAID卡就能4顆電腦RAID5如同三顆硬碟
05/18 16:17, 17F
推
05/18 16:17, , 18F
還是加裝raid卡才好
05/18 16:17, 18F
→
05/18 16:18, , 19F
RAID0一般的速度 所以你現是完全卡在效能不足的點上
05/18 16:18, 19F
推
05/18 16:20, , 20F
raid5需要作資料演算 專業raid上面會有處理器
05/18 16:20, 20F
→
05/18 16:21, , 21F
你用軟體raid5就是這種鳥爛笑果
05/18 16:21, 21F
推
05/18 16:29, , 22F
可是我很好奇耶，他的CPU都已經是 i7-4790了
05/18 16:29, 22F
→
05/18 16:30, , 23F
這樣的cpu效能不足以應付raid5的運算需求嗎？
05/18 16:30, 23F
→
05/18 18:10, , 24F
可以啊 前提是你要用的是完全的軟RAID
05/18 18:10, 24F
→
05/18 18:10, , 25F
看了一下，你是自己的md當dd source然後又放到md的
05/18 18:10, 25F
→
05/18 18:10, , 26F
mount上?....這樣會自己卡自己同時讀取寫入效能吧?
05/18 18:10, 26F
→
05/18 18:11, , 27F
我用我的NAS測試一下，來源/dev/zero可以到125MB/s
05/18 18:11, 27F
→
05/18 18:11, , 28F
用卡比較快 CPU比專用處理器還是有差
05/18 18:11, 28F
→
05/18 18:11, , 29F
但是自己產給自己只有95.1MB/s
05/18 18:11, 29F
→
05/18 18:31, , 30F
看不太懂 linux 指令
05/18 18:31, 30F
→
05/18 18:35, , 31F
剛翻了一下,你這是自己拷貝到自己吧???
05/18 18:35, 31F
→
05/18 18:41, , 32F
你應該要先確認你的/data/testfile mount point
05/18 18:41, 32F
→
05/18 18:42, , 33F
是mount哪個磁碟，如果跟if的/dev/md###是來自同硬
05/18 18:42, 33F
→
05/18 18:42, , 34F
碟，那就會是自己拷自己
05/18 18:42, 34F
→
05/18 19:19, , 35F
建議掛個 ramdisk ,這樣子測會比較客觀一點
05/18 19:19, 35F
→
05/18 19:20, , 36F
不然至少要測 create 亂數值 file (write)
05/18 19:20, 36F
→
05/18 19:34, , 37F
/dev/zero是從ram阿，只是數值都是0
05/18 19:34, 37F
推
05/18 19:38, , 38F
你開機系統也裝在ＲＡＩＤ磁碟上嗎
05/18 19:38, 38F
→
05/18 21:14, , 39F
該不會還沒initialize完就測了?
05/18 21:14, 39F
推
05/18 22:06, , 40F
為什麼不花個一萬買塊專用的raid卡,我用3tbx7做raid
05/18 22:06, 40F
→
05/18 22:06, , 41F
5可以跑出1g/s左右的速度
05/18 22:06, 41F
→
05/18 22:07, , 42F
如果不是公司用的話可以買便宜的H700
05/18 22:07, 42F
→
05/18 22:08, , 43F
才3K就有了
05/18 22:08, 43F
→
05/19 08:17, , 44F
請問 @mypigbaby 用的RAID卡是哪張？
05/19 08:17, 44F
推
05/19 10:03, , 45F
好奇.. 3Tx7 raid5 可以破1000M?
05/19 10:03, 45F
推
05/19 11:42, , 46F
1.硬碟數量要多 2.要速度請試 ZFS(eg FreeNAS)
05/19 11:42, 46F
→
05/19 15:29, , 47F
是的,來源與目的都是RAID磁碟,我只是要相同條件下,
05/19 15:29, 47F
→
05/19 15:31, , 48F
各種方式,效能差異是多少,結果才發現RAID5這麼慢
05/19 15:31, 48F
→
05/19 15:36, , 49F
Server上的RAID5也是很慢;此外,我用的dd指令迴避掉
05/19 15:36, 49F
→
05/19 15:38, , 50F
Cache的機制(參數oflag=dsync)否則可達69M/Sec
05/19 15:38, 50F
推
05/19 20:14, , 51F
zfs 要快相對記憶體也要大;而且要有ssd做l2arc
05/19 20:14, 51F
→
05/19 20:15, , 52F
跟 zil 效能才會好一點，不過 zraid 感覺 iops 都
05/19 20:15, 52F
→
05/19 20:15, , 53F
不太高
05/19 20:15, 53F
→
05/19 20:16, , 54F
*raidz
05/19 20:16, 54F
→
05/19 20:16, , 55F
要撐 iops 硬碟顆數一定要夠多... zil/l2arc 不是神
05/19 20:16, 55F
→
05/19 20:18, , 56F
一般 RAID card 都不是對手了, soft RAID 更不用說
05/19 20:18, 56F
推
05/20 04:47, , 57F
還蠻好奇用ZFS RAID-Z1的情況下 搭配Xeon E3-1231v3
05/20 04:47, 57F
→
05/20 04:47, , 58F
等級的CPU 讀寫速度可以到什麼水準 同一時間會佔用
05/20 04:47, 58F
→
05/20 04:47, , 59F
多少CPU資源 效能大概等同於哪種等級的RAID card?
05/20 04:47, 59F
推
05/20 12:23, , 60F
ZFS 的對手是 RAID box , RAID card 用途不太一樣
05/20 12:23, 60F
推
05/20 16:34, , 61F
要衝IOPS 的確硬碟數要多，一百顆還可能嫌少
05/20 16:34, 61F
推
05/20 23:40, , 62F
IOPS? 早就有單一SSD破百萬了...硬碟多(X 錢多(O
05/20 23:40, 62F
推
05/28 01:08, , 63F
ZFS 沒有想像中的快哦~顆顆...
05/28 01:08, 63F
‣ 更多 williambug 的文章
文章代碼(AID): #1LMNh1Gg (Storage_Zone)
Storage_Zone 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 williambug 的文章
文章代碼(AID): #1LMNh1Gg (Storage_Zone)