[閒聊] AMD Strixhalo ROCm 7.13 對LLM 有所提
我也不知道發這篇有什麼意義
閒來無事提供給手邊有買StrixHalo的人參考
有打算在高點出手的可以再停看聽一下
各位就當看笑話即可
舊物新賣還漲價的識趣哈嘍開賣了
長年躲在 DGX Spark 的影子下
每天看著綠色夥伴用NVFP4 飆速
自己卻只在廁所默默啜泣
最近的ROCm假FP4 pp也沒啥屁速提升
不過AMD戰的一直都是未來
最新版 ROCm 7.13 預覽版
pp終於獲得了明顯的提升
ROCm 7 每次更新
對LLM使用者都是一次次的失望
感覺都是針對 生圖生片那塊更新的
但這次不一樣了 經過實測
平常使用 122B-A10B Q4 這種夭壽大模型
基本上都是在磨練耐心 可以去泡茶、上廁所
身體都健康了不少
因為pp等待時間都是以分鐘為單位
這次初始速度竟衝破1000t/s
以下是我的測試結果
(第一段是自動生成對話主題可以忽略)
第二段的 prompt processing 才是重點
總共給了GPU 123GB
https://i.imgur.com/igb9H3f.png
ROCm 7.13 (1129 t/s > 547 t/s)
https://i.imgur.com/1PNzIGA.png
以下是穩定版速度
ROCm 7.2.4 (820 t/s > 426 t/s)
https://i.imgur.com/Z3GnudA.png
ROCm 6.4.4 (720 t/s > 435 t/s)
https://i.imgur.com/jm9RB4N.png
--
BZ顏藝王Danger
https://i.imgur.com/W8WpKX2h.jpg
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.40.246 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783829873.A.0C5.html
推
07/12 13:40,
1小時前
, 1F
07/12 13:40, 1F
推
07/12 14:42,
14分鐘前
, 2F
07/12 14:42, 2F
→
07/12 14:42,
14分鐘前
, 3F
07/12 14:42, 3F
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章