PTT數位生活區 / PC_Shopping (個人電腦購買)

[心得] 顯卡真實 AI 算力整理 GPU AI TOPs

看板PC_Shopping (個人電腦購買)作者 (james58899)時間5月前 (2026/02/21 17:51), 3月前編輯推噓48(49推 1噓 90→)
留言140則, 57人參與, 5月前最新討論串1/1
之前在巴哈和板上看到用9070XT跑圖片生成的文章，突然對跑AI有了興趣 然後就拉著小伙伴們一起來跑AI，所以肯定要比一下誰顯卡跑比較快 結果發現網路上到處都是又稀疏又低精度的膨脹算力，實際幾乎用不到 只好從各種官方文件中整理不同精度的實際算力 一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強 總之先上圖 https://i.urusai.cc/S6Lpo.png
更新日期：2026/04/07 增加Intel Arc B70/B65 原始表格： https://reurl.cc/KOZj1M https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U 網頁匯出版： https://reurl.cc/MMrdm4 主要看FP16/BF16和INT8/FP8這幾行 一般圖片生成都是用FP16/BF16少數使用FP8量化，而語言模型大多用FP8/INT8或更低的量化 語言模型更吃記憶體頻寬，圖片生成更注重算力但也還是吃記憶體頻寬 當然這些都是建立在VRAM夠用的前提下 如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去 由於NVIDIA卡的變種實在太多了，所以僅整理有官方規格或比較有可能拿來跑AI的卡 如果有其他感興趣的卡，可以先找接近的型號根據Tensor核心數估算一下 或者也可以推文留言，等我哪天有空可能會補充進表格 原本以為想跑AI只能買NVIDIA，結果發現其實Intel和AMD支援性都已經不錯了 最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具，直接開箱即用都不用搞半天環境 Intel A770原本以為是遊戲卡，結果其實是AI卡，跑AI比跑遊戲強多了... 傳說中的AI金磚DGX Spark實際上就只有128G很大，實際算力和頻寬都還好而已 我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇 說AMD驅動不行的反正我是半點問題沒遇到，真要說也只有爆VRAM的時候有機會崩驅動 但這任何顯卡都一樣，你VRAM用滿了東西就得炸 沒炸也只是驅動或系統在盡力把東西搬到RAM而已，搬不了或者來不及搬的時候還是要死 如果主要就是跑AI的話，AMD全家桶用起來也沒問題可以考慮AMD R9700 基本上就是有32G VRAM的9070XT，但價格也翻了一倍，不過還是比NV便宜 不然就直上RTX 5090，或者直接攻頂滿血的RTX PRO 6000，信老黃肯定沒錯對吧 在人類突破物理極限或者找到新的AI計算方式之前，多少算力就要多少功耗，沒有任何魔法 如果有個東西算力很高那只有兩個可能，一個是功耗也很高，另一個就是算力灌水 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1771667496.A.A72.html
推
02/21 17:53, 5月前 , 1F
現在硬體貴其實是天網想搞死玩家吧
02/21 17:53, 1F
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44
→
02/21 17:56, 5月前 , 2F
比非稀疏性能沒那麼真，NV有針對稀疏
02/21 17:56, 2F
→
02/21 17:56, 5月前 , 3F
運算加速，大語言模型也是稀疏矩陣
02/21 17:56, 3F
稀疏加速的要求其實很高，矩陣要有一半都是0才能觸發 而且還要特定格式的0，不是隨便有一半就行 我偏向認為宣傳大於實際意義，而且要看稀疏算力直接x2就是了 另外AMD RDNA4其實也支援稀疏加速 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47
→
02/21 18:03, 5月前 , 4F
A卡跑AI最大的問題是生態不是算力吧
02/21 18:03, 4F
→
02/21 18:04, 5月前 , 5F
一堆套件都是針對CUDA開發的
02/21 18:04, 5F
→
02/21 18:04, 5月前 , 6F
要用A卡跑還得先各種debug和配置好環
02/21 18:04, 6F
→
02/21 18:05, 5月前 , 7F
境
02/21 18:05, 7F
現在AMD配置難度已經幾乎沒有了，需要的操作就只有把cuda版pytorch換成rocm版而已 蓋在pytorch上的東西都能無縫直接能用，基本上就只有NV那幾個黑魔法加速不能用 但最近我看社群也都有搞出替代方案了，實際差距沒有想像中那麼大
推
02/21 18:05, 5月前 , 8F
不知道4090魔改的數據怎麼樣
02/21 18:05, 8F
魔改只有加大VRAM吧，頻寬和算力應該是不會變的 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:14:17
→
02/21 18:10, 5月前 , 9F
spark定位是開發用機，另外它的一個相對amd
02/21 18:10, 9F
→
02/21 18:10, 5月前 , 10F
的強項是pp，長context的處理速度
02/21 18:10, 10F
噓
02/21 18:12, 5月前 , 11F
跑ai買amd真的自找麻煩
02/21 18:12, 11F
推
02/21 18:13, 5月前 , 12F
只比TOPs意義不大。在模型比較大的時候，
02/21 18:13, 12F
→
02/21 18:13, 5月前 , 13F
瓶頸往往不在計算而在存儲相關操作。同樣
02/21 18:13, 13F
→
02/21 18:13, 5月前 , 14F
的顯卡核心計算單元，使用不同的存儲架構
02/21 18:13, 14F
→
02/21 18:13, 5月前 , 15F
（例如hbmvslpddr）或者不同的存儲布線，
02/21 18:13, 15F
→
02/21 18:13, 5月前 , 16F
跑模型的速度都會有顯著不同。要不為啥高
02/21 18:13, 16F
→
02/21 18:13, 5月前 , 17F
階存儲漲價漲那麽高？
02/21 18:13, 17F
表格也有列記憶體頻寬，如果知道自己用途就特別吃頻寬的話當然挑大的買 其實AMD的Infinity Cache對AI也有奇效，不過這就要軟體去相容才能吃到
推
02/21 18:15, 5月前 , 18F
打臉板上推n卡跑ai
02/21 18:15, 18F
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:19:57
推
02/21 18:23, 5月前 , 19F
8g vram、12gvram應該不會跑fp32 、16
02/21 18:23, 19F
→
02/21 18:23, 5月前 , 20F
光模型就大的嚇人 vram根本不夠
02/21 18:23, 20F
→
02/21 18:23, 5月前 , 21F
我覺得跑fp8,Q4k的gguf反而很多人
02/21 18:23, 21F
→
02/21 18:23, 5月前 , 22F
因為很多人顯卡只有8g-12gvram
02/21 18:23, 22F
→
02/21 18:23, 5月前 , 23F
需求vram低 跑出來效果也還可以
02/21 18:23, 23F
推
02/21 18:25, 5月前 , 24F
推原PO認真分享
02/21 18:25, 24F
推
02/21 18:46, 5月前 , 25F
2060S 8G都能列入表格了，請問9060XT
02/21 18:46, 25F
→
02/21 18:46, 5月前 , 26F
8G能跑嗎
02/21 18:46, 26F
這是因為我的小伙伴就用那張所以才在表格裡 8G對於AI來說真的是很不夠用，你需要找低精度量化的模型來跑
→
02/21 18:47, 5月前 , 27F
這看起來就很雲，容量才是重點，不
02/21 18:47, 27F
→
02/21 18:47, 5月前 , 28F
夠你根本不能用大模型
02/21 18:47, 28F
推
02/21 18:49, 5月前 , 29F
簡單部署嗎...？ollma直接表示不支援
02/21 18:49, 29F
笑死，我覺得這是ollama本身就特別雷llama.cpp本身用vulkan明明就能跑得很好 AMD AI大禮包裡面另一個LM Studio就跑得很開心
推
02/21 18:51, 5月前 , 30F
在跑圖這塊，A家GPU已經有不錯的支援了，但
02/21 18:51, 30F
→
02/21 18:51, 5月前 , 31F
在跑LLM部分，覺得連CPU的支援都還比不上
02/21 18:51, 31F
還有 72 則推文
還有 9 段內文
→
02/22 07:58, 5月前 , 104F
看你所謂的跑 AI 是到什麼程度，一般研
02/22 07:58, 104F
→
02/22 07:58, 5月前 , 105F
究生程度就會發現問題超多
02/22 07:58, 105F
→
02/22 07:58, 5月前 , 106F
不然我還很推用 Mac 跑 AI 呢，unified
02/22 07:58, 106F
→
02/22 07:58, 5月前 , 107F
memory 超香
02/22 07:58, 107F
→
02/22 09:09, 5月前 , 108F
7真的有料 終於能到理論蒜粒
02/22 09:09, 108F
→
02/22 09:16, 5月前 , 109F
不過重點還是comfyui有更新amd無腦安裝
02/22 09:16, 109F
→
02/22 09:16, 5月前 , 110F
不然肥肥也懶得弄
02/22 09:16, 110F
推
02/22 10:35, 5月前 , 111F
Spark就硬體太新，套件需自己解決一堆
02/22 10:35, 111F
→
02/22 10:35, 5月前 , 112F
衝突，是給獨立工作室做推論用的
02/22 10:35, 112F
推
02/22 10:39, 5月前 , 113F
Ps別買特規線做雙機溝通，原本就很勉強
02/22 10:39, 113F
→
02/22 10:39, 5月前 , 114F
地散熱空間，加了那條瘋狂發熱的特規線
02/22 10:39, 114F
→
02/22 10:39, 5月前 , 115F
，推論效率直接打折
02/22 10:39, 115F
→
02/22 10:45, 5月前 , 116F
AMD驅動，信者恆信，不信者終身不碰
02/22 10:45, 116F
推
02/22 11:40, 5月前 , 117F
巴哈那篇文章就我寫的
02/22 11:40, 117F
→
02/22 11:40, 5月前 , 118F
我最近把sage1集中力改寫適配A卡
02/22 11:40, 118F
→
02/22 11:40, 5月前 , 119F
速度提升20-30%
02/22 11:40, 119F
→
02/22 11:54, 5月前 , 120F
02/22 11:54, 120F
推
02/22 11:57, 5月前 , 121F
簡言之要搞70b q8或者123b q6推論，買sp
02/22 11:57, 121F
→
02/22 11:57, 5月前 , 122F
ark最划算，其他卡雖然快但ram不夠
02/22 11:57, 122F
推
02/22 12:00, 5月前 , 123F
I卡沒出B700系列真是可惜
02/22 12:00, 123F
推
02/22 12:13, 5月前 , 124F
3080 有 20G 魔改版本啊 滿超值的
02/22 12:13, 124F
→
02/22 12:13, 5月前 , 125F
前陣子剛買一張說
02/22 12:13, 125F
→
02/22 14:57, 5月前 , 126F
原來fp16/8是主流 只敢跑fp4換更大參數
02/22 14:57, 126F
推
02/22 15:44, 5月前 , 127F
vram跟ram影響很大，塞不下就沒用
02/22 15:44, 127F
推
02/22 17:09, 5月前 , 128F
感謝實測，amd比想像的要好一點！？
02/22 17:09, 128F
推
02/22 22:29, 5月前 , 129F
9070xt雖然vram比較小，但跑fp8比7900xt
02/22 22:29, 129F
→
02/22 22:29, 5月前 , 130F
x快，記憶體排程也比較好，rdna4優勢
02/22 22:29, 130F
→
02/23 05:44, 5月前 , 131F
支援度先不提，FP4跟INT4要用也得看場合
02/23 05:44, 131F
推
02/23 17:03, 5月前 , 132F
40/5070怎麼算，表格可以判斷HBM價值的
02/23 17:03, 132F
→
02/23 18:25, 5月前 , 133F
HBM不是萬靈丹，要不然那批MI-50洋垃圾不會
02/23 18:25, 133F
→
02/23 18:25, 5月前 , 134F
是那種價錢
02/23 18:25, 134F
→
02/23 19:44, 5月前 , 135F
想試AI正確做法是訂閱，不是花大錢
02/23 19:44, 135F
→
02/23 19:44, 5月前 , 136F
買卡
02/23 19:44, 136F
線上服務不能澀澀，grok生圖最近才被幹的很慘
推
02/24 11:04, 5月前 , 137F
看留言提到支援度就一堆"幾乎""大多數""
02/24 11:04, 137F
→
02/24 11:04, 5月前 , 138F
"可能""應該"的，不就正好反映二者的價差
02/24 11:04, 138F
→
02/24 11:05, 5月前 , 139F
和接受度嗎
02/24 11:05, 139F
因為軟體的東西實在不好說 像是包在AMD AI大禮包裡的ollama都能開場壞掉 這就像NV獨家的DLSS，AMD和Intel都有替代方案 但不代表所有有支援DLSS的遊戲都會去支援FSR或XeSS AI的東西也一樣，用了NV獨家的東西那肯定是沒辦法支援 如果用到了就只能乖乖付錢給老黃，或者找其他替代方案
推
02/24 13:13, 5月前 , 140F
感謝整理分享
02/24 13:13, 140F
※ 編輯: james58899 (49.213.184.242 臺灣), 02/24/2026 18:09:27 ※ 編輯: james58899 (49.213.184.242 臺灣), 04/07/2026 18:16:40
‣ 更多 james58899 的文章
文章代碼(AID): #1fcO0efo (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 james58899 的文章
文章代碼(AID): #1fcO0efo (PC_Shopping)