[測試] 地端雙卡AI使用SFF-8654通道拆分簡易測試
前陣子有朋友在評估只有一條PCIE-X16主機板想玩雙卡AI
故這次這邊買了一組PCIE轉SFF-8654通道拆分卡來實測
https://i.meee.com.tw/xZShP8H.jpg

測試設備:
CPU: R9-5900X
MB: ASROCK B550M-ITX/AC (PCI-E 4.0)
VGA: 2張 ZOTAC 5060TI 16G
想說反正5060TI本來也就只有物理PCIE X8
一張卡佔用一條X16實在太浪費,乾脆拿來測試這套設備
1.先做一般顯示輸出測試,確認其穩定度與可用性
(1)顯卡直插主機板 3DMark-TimeSpy 測試
https://i.meee.com.tw/KPjD3t1.jpg


(2)透過拆分板&SFF-8654連接 3DMark-TimeSpy 測試
https://i.meee.com.tw/vyGVAiV.jpg



可以看到透過拆分裝置連接的5060TI
(PCIE Link-Speed 16GT/s 代表走 PCI-E 4.0)
在PCIE Error Counter中
Recoverey Count 的數量明顯增加 (但直插時也有這個Count只是較少)
NAKs Received Count 也出現幾筆 (直插沒這個Count)
但沒有出現被列為Error等級的Count
表示訊號傳輸確實會受到拆分裝置影響,但不至於出現"錯誤"等級的問題
從3DMark分數來看也在誤差範圍內,證明這套拆分裝置的可用性。
2.雙卡AI測試
https://i.meee.com.tw/7ze7zSz.jpg


用Ollama跑Qwen3.6-27B-Q4_K_M KV量化Q8 Pipeline Parallel 情況下
得到結果為23tk/s
(當然換個引擎會更快但主要是驗證通道拆分裝置,就不另外多測了)
這邊可以看到 Recoverey及NAKs Received Count 都集中在有插螢幕的這張卡上
沒螢幕只負責計算的卡 Recoverey Count 就很少
可推斷通道拆分裝置對Pipeline Parallel模式下的AI多卡運算影響不大
3.PCI-E降速測試
網路上一直有查到一套論述是 "對於Pipeline Parallel模式,PCI-E 3.0 & 4.0 在X8下
差異不大"
正好就拿這套設備來自己驗證
https://i.meee.com.tw/HGuSq2o.png

可以看到跑出來速度還是23tk/s左右
(PCIE Link-Speed 8GT/s 代表走 PCI-E 3.0)
4.測試小結
(1) "品質好的"通道拆分裝置,對於2張5060TI等級的卡,要跑PP並行模式的AI,其穩定
性是足夠的。
(2) PCI-E X8 3.0 & 4.0 對於2張5060TI等級的卡,在PP並行模式下,AI運算速度影響不
大。
分享給有考慮SFF-8654 PCI-E通道拆分裝置的板友參考~
****本篇內容僅為個人測試心得,若論點或觀點有誤還請各位多幫忙指正或分享資訊****
****以上係對Pipeline Parallel進行驗證,想跑Tensor Parallel的要另外驗證影響程度
****
感謝您的收看~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.56.164.96 (美國)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1786029182.A.931.html
推
08/06 23:16,
1小時前
, 1F
08/06 23:16, 1F
→
08/06 23:21,
1小時前
, 2F
08/06 23:21, 2F
→
08/06 23:22,
1小時前
, 3F
08/06 23:22, 3F
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章