PTT數位生活區 / PC_Shopping (個人電腦購買)

[心得] 顯卡真實 AI 算力整理 GPU AI TOPs

看板PC_Shopping (個人電腦購買)作者 (james58899)時間3小時前 (2026/02/21 17:51), 3小時前編輯推噓3(4推 1噓 13→)
留言18則, 8人參與, 3小時前最新討論串1/1
之前在巴哈和板上看到用9070XT跑圖片生成的文章，突然對跑AI有了興趣 然後就拉著小伙伴們一起來跑AI，所以肯定要比一下誰顯卡跑比較快 結果發現網路上到處都是又稀疏又低精度的膨脹算力，實際幾乎用不到 只好從各種官方文件中整理不同精度的實際算力 一查才知道原來我拿9070XT打了半年的遊戲結果跑AI也很強 總之先上圖 https://i.urusai.cc/8FRjv.png
原始表格： https://reurl.cc/KOZj1M https://docs.google.com/spreadsheets/d/1V0LZwM7pADpgszZdZuzNZyXD8Uwvg2b-XavzM14Bz1U 網頁匯出版： https://reurl.cc/MMrdm4 主要看FP16/BF16和INT8/FP8這幾行 一般圖片生成都是用FP16/BF16少數使用FP8量化，而語言模型大多用FP8/INT8或更低的量化 語言模型更吃記憶體頻寬，圖片生成更注重算力但也還是吃記憶體頻寬 當然這些都是建立在VRAM夠用的前提下 如果VRAM不夠用就需要頻繁將模型的權重在RAM和VRAM之間搬來搬去 由於NVIDIA卡的變種實在太多了，所以僅整理有官方規格或比較有可能拿來跑AI的卡 如果有其他感興趣的卡，可以先找接近的型號根據Tensor核心數估算一下 或者也可以推文留言，等我哪天有空可能會補充進表格 原本以為想跑AI只能買NVIDIA，結果發現其實Intel和AMD支援性都已經不錯了 最新的AMD Windows驅動甚至直接把AI大禮包整進安裝工具，直接開箱即用都不用搞半天環境 Intel A770原本以為是遊戲卡，結果其實是AI卡，跑AI比跑遊戲強多了... 傳說中的AI金磚DGX Spark實際上就只有128G很大，實際算力和頻寬都還好而已 我覺得如果只是想試試AI的人買個9070XT是個不錯的選擇 說AMD驅動不行的反正我是半點問題沒遇到，真要說也只有爆VRAM的時候有機會崩驅動 但這任何顯卡都一樣，你VRAM用滿了東西就得炸 沒炸也只是驅動或系統在盡力把東西搬到RAM而已，搬不了或者來不及搬的時候還是要死 如果主要就是跑AI的話，AMD全家桶用起來也沒問題可以考慮AMD R9700 基本上就是有32G VRAM的9070XT，但價格也翻了一倍，不過還是比NV便宜 不然就直上RTX 5090，或者直接攻頂滿血的RTX PRO 6000，信老黃肯定沒錯對吧 在人類突破物理極限或者找到新的AI計算方式之前，多少算力就要多少功耗，沒有任何魔法 如果有個東西算力很高那只有兩個可能，一個是功耗也很高，另一個就是算力灌水 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.213.184.242 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1771667496.A.A72.html
推
02/21 17:53, 3小時前 , 1F
現在硬體貴其實是天網想搞死玩家吧
02/21 17:53, 1F
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 17:54:44
→
02/21 17:56, 3小時前 , 2F
比非稀疏性能沒那麼真，NV有針對稀疏
02/21 17:56, 2F
→
02/21 17:56, 3小時前 , 3F
運算加速，大語言模型也是稀疏矩陣
02/21 17:56, 3F
稀疏加速的要求其實很高，矩陣要有一半都是0才能觸發 而且還要特定格式的0，不是隨便有一半就行 我偏向認為宣傳大於實際意義，而且要看稀疏算力直接x2就是了 另外AMD RDNA4其實也支援稀疏加速 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:06:47
→
02/21 18:03, 3小時前 , 4F
A卡跑AI最大的問題是生態不是算力吧
02/21 18:03, 4F
→
02/21 18:04, 3小時前 , 5F
一堆套件都是針對CUDA開發的
02/21 18:04, 5F
→
02/21 18:04, 3小時前 , 6F
要用A卡跑還得先各種debug和配置好環
02/21 18:04, 6F
→
02/21 18:05, 3小時前 , 7F
境
02/21 18:05, 7F
現在AMD配置難度已經幾乎沒有了，需要的操作就只有把cuda版pytorch換成rocm版而已 蓋在pytorch上的東西都能無縫直接能用，基本上就只有NV那幾個黑魔法加速不能用 但最近我看社群也都有搞出替代方案了，實際差距沒有想像中那麼大
推
02/21 18:05, 3小時前 , 8F
不知道4090魔改的數據怎麼樣
02/21 18:05, 8F
魔改只有加大VRAM吧，頻寬和算力應該是不會變的 ※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:14:17
→
02/21 18:10, 3小時前 , 9F
spark定位是開發用機，另外它的一個相對amd
02/21 18:10, 9F
→
02/21 18:10, 3小時前 , 10F
的強項是pp，長context的處理速度
02/21 18:10, 10F
噓
02/21 18:12, 3小時前 , 11F
跑ai買amd真的自找麻煩
02/21 18:12, 11F
推
02/21 18:13, 3小時前 , 12F
只比TOPs意義不大。在模型比較大的時候，
02/21 18:13, 12F
→
02/21 18:13, 3小時前 , 13F
瓶頸往往不在計算而在存儲相關操作。同樣
02/21 18:13, 13F
→
02/21 18:13, 3小時前 , 14F
的顯卡核心計算單元，使用不同的存儲架構
02/21 18:13, 14F
→
02/21 18:13, 3小時前 , 15F
（例如hbmvslpddr）或者不同的存儲布線，
02/21 18:13, 15F
→
02/21 18:13, 3小時前 , 16F
跑模型的速度都會有顯著不同。要不為啥高
02/21 18:13, 16F
→
02/21 18:13, 3小時前 , 17F
階存儲漲價漲那麽高？
02/21 18:13, 17F
表格也有列記憶體頻寬，如果知道自己用途就特別吃頻寬的話當然挑大的買 其實AMD的Infinity Cache對AI也有奇效，不過這就要軟體去相容才能吃到
推
02/21 18:15, 3小時前 , 18F
打臉板上推n卡跑ai
02/21 18:15, 18F
※ 編輯: james58899 (49.213.184.242 臺灣), 02/21/2026 18:19:57
‣ 更多 james58899 的文章
文章代碼(AID): #1fcO0efo (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 james58899 的文章
文章代碼(AID): #1fcO0efo (PC_Shopping)