PTT數位生活區 / PC_Shopping (個人電腦購買)

[閒聊] AMD Strixhalo ROCm 7.13 對LLM 有所提

看板PC_Shopping (個人電腦購買)作者 (當歸)時間1月前 (2026/07/12 12:17), 1月前編輯推噓13(13推 0噓 25→)
留言38則, 10人參與, 1月前最新討論串1/1
https://i.imgur.com/xO6ZZbe.jpeg
我也不知道發這篇有什麼意義 閒來無事提供給手邊有買StrixHalo的人參考 有打算在高點出手的可以再停看聽一下 各位就當看笑話即可 舊物新賣還漲價的識趣哈嘍開賣了 長年躲在 DGX Spark 的影子下 每天看著綠色夥伴用NVFP4 飆速 自己卻只在廁所默默啜泣 最近的ROCm假FP4 pp也沒啥屁速提升 不過AMD戰的一直都是未來 最新版 ROCm 7.13 預覽版 pp終於獲得了明顯的提升 ROCm 7 每次更新 對LLM使用者都是一次次的失望 感覺都是針對 生圖生片那塊更新的 但這次不一樣了 經過實測 平常使用 122B-A10B Q4 這種夭壽大模型 基本上都是在磨練耐心 可以去泡茶、上廁所 身體都健康了不少 因為pp等待時間都是以分鐘為單位 這次初始速度竟衝破1000t/s 以下是我的測試結果 (第一段是自動生成對話主題可以忽略) 第二段的 prompt processing 才是重點 總共給了GPU 123GB https://i.imgur.com/igb9H3f.png
ROCm 7.13 (1129 t/s > 547 t/s) https://i.imgur.com/1PNzIGA.png
以下是穩定版速度 ROCm 7.2.4 (820 t/s > 426 t/s) https://i.imgur.com/Z3GnudA.png
ROCm 6.4.4 (720 t/s > 435 t/s) https://i.imgur.com/jm9RB4N.png
-- BZ顏藝王Danger https://i.imgur.com/W8WpKX2h.jpg
https://i.imgur.com/LDTGr2Xh.jpg
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.40.246 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783829873.A.0C5.html
推
07/12 13:40, 1月前 , 1F
相同環境下 Vulkan預填充是多少?
07/12 13:40, 1F
Vulkan-RADV (871 t/s > 455 t/s) tg竟然是所有裡面最高的 有點意思 https://i.imgur.com/8qDX9ZC.png
推
07/12 14:42, 1月前 , 2F
有推薦8060s使用SGLang的方法嗎？ 這兩天搞
07/12 14:42, 2F
→
07/12 14:42, 1月前 , 3F
很久@@
07/12 14:42, 3F
我很廢 都用別人做好的container ※ 編輯: Mapodoufu (49.216.131.224 臺灣), 07/12/2026 15:44:11
推
07/12 16:32, 1月前 , 4F
之前就是ROCm預填充在文本小的時候
07/12 16:32, 4F
→
07/12 16:32, 1月前 , 5F
會贏過Vulkan 但長上下文會輸 吐字
07/12 16:32, 5F
→
07/12 16:32, 1月前 , 6F
層面的話 Vulkan一直都是贏的
07/12 16:32, 6F
→
07/12 19:56, 1月前 , 7F
長年躱在DGX SPARK是如何成立的？不
07/12 19:56, 7F
→
07/12 19:56, 1月前 , 8F
是才發布一個月？
07/12 19:56, 8F
推
07/12 20:07, 1月前 , 9F
有用過檸檬水嗎？
07/12 20:07, 9F
→
07/12 20:57, 1月前 , 10F
DGX SPARK賣很久了
07/12 20:57, 10F
推
07/12 21:05, 1月前 , 11F
有人DGX Spark RTX Spark傻傻分不清處
07/12 21:05, 11F
→
07/12 22:40, 1月前 , 12F
打算直接買Gorgon Halo,希望別太拉
07/12 22:40, 12F
推
07/13 09:10, 1月前 , 13F
Gorgon Halo好處是RAM可以更 就這樣
07/13 09:10, 13F
→
07/13 09:10, 1月前 , 14F
速度是比不上的
07/13 09:10, 14F
推
07/13 09:43, 1月前 , 15F
可以更大
07/13 09:43, 15F
推
07/13 13:49, 1月前 , 16F
AMD對API的支援跟他的驅動一樣好 支持
07/13 13:49, 16F
推
07/13 17:29, 1月前 , 17F
Gorgon Halo可用的VRAM最大是168，不過還
07/13 17:29, 17F
→
07/13 17:33, 1月前 , 18F
是有兩個問題：空間很尷尬 Qwen3-235B MoE
07/13 17:33, 18F
→
07/13 17:34, 1月前 , 19F
放進去是行，但頻寬太低不實用。100B密集
07/13 17:34, 19F
→
07/13 17:34, 1月前 , 20F
很久沒好的模型出來了
07/13 17:34, 20F
→
07/13 17:35, 1月前 , 21F
第二當然還是在AIGC生態太弱全靠為愛發電
07/13 17:35, 21F
推
07/13 21:14, 1月前 , 22F
Local使用的話 幾個好的Dense+協作夠用
07/13 21:14, 22F
→
07/13 21:15, 1月前 , 23F
無限追求更強更大的model在本地端還不如
07/13 21:15, 23F
→
07/13 21:15, 1月前 , 24F
比較好的Harness Engineering
07/13 21:15, 24F
推
07/13 21:42, 1月前 , 25F
Dense超過35b那個速度就很感人了
07/13 21:42, 25F
→
07/13 21:42, 1月前 , 26F
本地最好的模式就是 120B A9B MoE
07/13 21:42, 26F
→
07/13 21:43, 1月前 , 27F
目前128GB能塞的最強應該是Qwen3.5-
07/13 21:43, 27F
→
07/13 21:43, 1月前 , 28F
122B-A10B
07/13 21:43, 28F
→
07/13 21:43, 1月前 , 29F
一般單卡能塞的是Qwen3.6-27B
07/13 21:43, 29F
→
07/13 21:44, 1月前 , 30F
留下足夠大的KV cache空間比較重要
07/13 21:44, 30F
推
07/13 21:52, 1月前 , 31F
我的話是Qwen 3.6 27B / Gemma4 31B
07/13 21:52, 31F
推
07/13 21:57, 1月前 , 32F
目前30B上下模型迭代快速的背景就是大部分
07/13 21:57, 32F
→
07/13 21:59, 1月前 , 33F
本地環境雙卡，反過來讓各團隊拼命卷48GB
07/13 21:59, 33F
→
07/13 22:00, 1月前 , 34F
以內的賽道 Qwen3.6-27B／Gemma 4 31B
07/13 22:00, 34F
→
07/13 22:00, 1月前 , 35F
也是卡在了Q5_K_M + Q8 KV，100K context
07/13 22:00, 35F
→
07/13 22:01, 1月前 , 36F
這個甜蜜點。再上去120B已經很久沒競品沒
07/13 22:01, 36F
→
07/13 22:03, 1月前 , 37F
好東西，所以168這個賽道如果真的成氣候
07/13 22:03, 37F
→
07/13 22:03, 1月前 , 38F
會受惠的應該是200B那個層級終於有誘因了
07/13 22:03, 38F
‣ 更多 Mapodoufu 的文章
文章代碼(AID): #1gKnLn35 (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Mapodoufu 的文章
文章代碼(AID): #1gKnLn35 (PC_Shopping)