PTT數位生活區 / PC_Shopping (個人電腦購買)

[菜單] Gemma 4 26B 推理機

看板PC_Shopping (個人電腦購買)作者 (大怒神のスイッチ)時間3周前 (2026/07/06 01:41), 3周前編輯推噓47(47推 0噓 204→)
留言251則, 31人參與, 2周前最新討論串1/1
已買/未買/已付訂金（元）：未買 預算/用途：40000 / Gemma 4 26B 推理 CPU (中央處理器)：AMD Ryzen 5 9600X MB (主機板)：Asus ProArt B850-Creator Wifi Neo RAM (記憶體)：十詮 T-Create DDR5 6000 CL30 x2 VGA (顯示卡)：(沿用) Intel Arc Pro B70 32G Cooler (散熱器)：風魔3 SSD (固態硬碟)：(沿用) HDD (硬碟)： PSU (電源供應器)：振華 Leadex III 850W 金牌/全模/主日 CHASSIS (機殼)：聯力 Lancool 217 MONITOR (螢幕)： Mouse/KB (鼠鍵)： OS (作業系統)：Ubuntu 其它 (自填)： 總價 (未稅/含稅)：35966 含稅 最近實驗 B70 推理, 編譯 llama.cpp SYCL 版本跑 Gemma 4 26B 速度很滿意 不過目前是用 eGPU 的方式跑, 想說乾脆組起來比較省事 這個搭配有沒有什麼需要改進的地方呢? -- 世界越快 心則慢 網路越慢 心則快 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.117.175.196 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1783273286.A.421.html
推
07/06 02:11, 3周前 , 1F
MOE模型用啥跑都很快 但你接受這智商？
07/06 02:11, 1F
→
07/06 02:11, 3周前 , 2F
長遠看別買I卡獨顯 N家入股後可能會被放生
07/06 02:11, 2F
→
07/06 02:12, 3周前 , 3F
買張7900XTX生態跟速度都更好 還更便宜
07/06 02:12, 3F
推
07/06 02:14, 3周前 , 4F
喔 看錯 原來卡有了 那剩下隨便
07/06 02:14, 4F
→
07/06 02:14, 3周前 , 5F
我也好奇26B不嫌笨嗎？
07/06 02:14, 5F
→
07/06 03:29, 3周前 , 6F
本地端有更好的?
07/06 03:29, 6F
→
07/06 03:30, 3周前 , 7F
32GB有其他更好的選擇嗎?
07/06 03:30, 7F
推
07/06 04:48, 3周前 , 8F
好奇這麼笨的模型要用做啥？不甘脆用API嗎？
07/06 04:48, 8F
推
07/06 04:53, 3周前 , 9F
小模型用dense的比較好
07/06 04:53, 9F
→
07/06 04:53, 3周前 , 10F
但輸出速度就沒辦法快
07/06 04:53, 10F
推
07/06 05:55, 3周前 , 11F
你RAM夠的情況下，本地跑用Gemma4 31B
07/06 05:55, 11F
→
07/06 05:55, 3周前 , 12F
或Qwen 3.6 27B這種Dense模型智力跟Ag
07/06 05:55, 12F
→
07/06 05:55, 3周前 , 13F
ent性能方面都會比較好
07/06 05:55, 13F
→
07/06 05:56, 3周前 , 14F
如果用途比較專一在推理或是寫Code，
07/06 05:56, 14F
→
07/06 05:56, 3周前 , 15F
用llama cpp加隨便一個qwen 3.5被opus
07/06 05:56, 15F
→
07/06 05:56, 3周前 , 16F
或fable微調過的版本都不錯
07/06 05:56, 16F
→
07/06 06:22, 3周前 , 17F
小模型用來養馬
07/06 06:22, 17F
推
07/06 06:25, 3周前 , 18F
本地小MoE模型還是拿來聊天就好，真要幹
07/06 06:25, 18F
→
07/06 06:25, 3周前 , 19F
活，就算慢也是選dense模型穩
07/06 06:25, 19F
推
07/06 06:35, 3周前 , 20F
也是建議由Gemma4 31B或Qwen3.6 27B二選一
07/06 06:35, 20F
推 yenchieh1102: 電供抓大一點，未來再插一張卡(? 42.70.248.221 07/06 08:36 好 der，我改買 Leadex VII 1000W，存點錢再加一張
推
07/06 09:23, 3周前 , 21F
目前地端天花板就是qwen3.6 27b呀
07/06 09:23, 21F
推
07/06 11:02, 3周前 , 22F
真的用過api就會知道中國那幾個都是智障
07/06 11:02, 22F
→
07/06 11:03, 3周前 , 23F
跑分漂亮長期用下來就是鬼打牆
07/06 11:03, 23F
→
07/06 11:03, 3周前 , 24F
來不如直接用美國的 最後也不會比較貴
07/06 11:03, 24F
推
07/06 11:26, 3周前 , 25F
原本也是想本地跑後來還是用dsv4 flas
07/06 11:26, 25F
→
07/06 11:26, 3周前 , 26F
h超便宜比電費還省
07/06 11:26, 26F
推
07/06 11:37, 3周前 , 27F
本地端顯卡玩qwen3.6 27B或Gemma4 3
07/06 11:37, 27F
→
07/06 11:37, 3周前 , 28F
1B沒錯啊。當然你跟真正大模型比差
07/06 11:37, 28F
→
07/06 11:37, 3周前 , 29F
的還是太遠也是事實
07/06 11:37, 29F
→
07/06 11:40, 3周前 , 30F
兩家的MoE都這麼不堪嗎？
07/06 11:40, 30F
推
07/06 11:44, 3周前 , 31F
以gemma4 26b a4b來說，他實際就只是知
07/06 11:44, 31F
→
07/06 11:44, 3周前 , 32F
識量較多比較聰明的4B模型而已，真的要
07/06 11:44, 32F
→
07/06 11:44, 3周前 , 33F
長鏈路推理、作業、寫文章，完全沒法跟
07/06 11:44, 33F
→
07/06 11:44, 3周前 , 34F
實打實的27b dense模型相比
07/06 11:44, 34F
→
07/06 11:46, 3周前 , 35F
目前單卡本地的天花板就是qwen3.6 27b，
07/06 11:46, 35F
→
07/06 11:46, 3周前 , 36F
找個破限跟opus蒸餾版，基本可以當一個
07/06 11:46, 36F
→
07/06 11:46, 3周前 , 37F
全能小模型
07/06 11:46, 37F
推
07/06 11:47, 3周前 , 38F
我覺得寫文章還行，不過現下買32G的卡主要
07/06 11:47, 38F
還有 173 則推文
還有 1 段內文
→
07/08 06:47, 2周前 , 212F
寬， 難道要拿SATA硬幹？
07/08 06:47, 212F
推
07/08 06:49, 2周前 , 213F
D5 6000 雙通最多就是90GB/s 聽你在吹？ A
07/08 06:49, 213F
→
07/08 06:49, 2周前 , 214F
MD記憶體弱本來就是事實，有多卡需求一定
07/08 06:49, 214F
→
07/08 06:49, 2周前 , 215F
是上EPYC了， 我只是模擬PCIe2.0對產出的
07/08 06:49, 215F
→
07/08 06:49, 2周前 , 216F
影響
07/08 06:49, 216F
推
07/08 06:55, 2周前 , 217F
還說9800X3D？ 我從頭到尾說的是GPU推理，
07/08 06:55, 217F
→
07/08 06:55, 2周前 , 218F
CPU只是配角
07/08 06:55, 218F
→
07/08 06:55, 2周前 , 219F
首字延時不是提示詞決定，而是你一次最大
07/08 06:55, 219F
→
07/08 06:55, 2周前 , 220F
生成字數決定的，Gemma4它的上限是8192
07/08 06:55, 220F
→
07/08 06:57, 2周前 , 221F
是怎樣？ 講AMD不好就影響你的股價？
07/08 06:57, 221F
推
07/08 13:05, 2周前 , 222F
只會用ai亂答的就別出來丟人，你有真的
07/08 13:05, 222F
→
07/08 13:05, 2周前 , 223F
架過本地部署嗎？我是實際使用過的心得
07/08 13:05, 223F
→
07/08 13:05, 2周前 , 224F
9800x3d ddr5 6000是我的遊戲機aida64
07/08 13:05, 224F
→
07/08 13:05, 2周前 , 225F
寫入我測出來就是90gb/s，我也拿來裝過
07/08 13:05, 225F
→
07/08 13:05, 2周前 , 226F
本地部署最終還是回歸遊戲機的使用， 76
07/08 13:05, 226F
→
07/08 13:05, 2周前 , 227F
00x a+n雙卡是我目前的本地部署，在這之
07/08 13:05, 227F
→
07/08 13:05, 2周前 , 228F
前嘗試過x570沒內顯會吃掉一些顯存跑ai
07/08 13:05, 228F
→
07/08 13:05, 2周前 , 229F
時看yt或開網頁查資料都會吃掉不少vram,
07/08 13:05, 229F
→
07/08 13:05, 2周前 , 230F
也用過雙路8通道加雙卡3080一起跑27b q4
07/08 13:05, 230F
→
07/08 13:05, 2周前 , 231F
q6模型跑起來瓦特計直接突破700w光待機
07/08 13:05, 231F
→
07/08 13:05, 2周前 , 232F
就突破150w房間溫度都提高幾度了，跑35b
07/08 13:05, 232F
→
07/08 13:05, 2周前 , 233F
moe模型可以降到500w左右但只能對話或
07/08 13:05, 233F
→
07/08 13:05, 2周前 , 234F
做簡單的工作，我用的是技嘉的c612雙路
07/08 13:05, 234F
→
07/08 13:05, 2周前 , 235F
主板,當然使用更高階有雙pcie4.0x16的ep
07/08 13:05, 235F
→
07/08 13:05, 2周前 , 236F
yc可能不會遇到跟我一樣雙卡速度提升不
07/08 13:05, 236F
→
07/08 13:05, 2周前 , 237F
明顯，瓶頸應該是在cpu太舊時脈太低，然
07/08 13:05, 237F
→
07/08 13:05, 2周前 , 238F
後a黑的你幹嘛推epyc你不知道這是amd的c
07/08 13:05, 238F
→
07/08 13:05, 2周前 , 239F
pu嗎？不是說amd的就是慢又有問題嗎？
07/08 13:05, 239F
→
07/08 13:05, 2周前 , 240F
最後在能耗跟性能取捨最終用了a+n組合
07/08 13:05, 240F
→
07/08 13:05, 2周前 , 241F
雙卡27b q4到q6都測過，結論日常夠用但
07/08 13:05, 241F
→
07/08 13:05, 2周前 , 242F
還是會發生鬼打牆亂答，需要花時間調教
07/08 13:05, 242F
→
07/08 13:05, 2周前 , 243F
，工作上使用還是線上模型聰明省事多了
07/08 13:05, 243F
→
07/08 13:05, 2周前 , 244F
。
07/08 13:05, 244F
推
07/09 12:15, 2周前 , 245F
Qwythos Qwable或Ornith這些後天訓
07/09 12:15, 245F
→
07/09 12:15, 2周前 , 246F
練過的呢？
07/09 12:15, 246F
→
07/09 12:15, 2周前 , 247F
尤其是dense的？
07/09 12:15, 247F
→
07/09 14:52, 2周前 , 248F
要看模型 很多都只針對輕量文本如32K-64
07/09 14:52, 248F
→
07/09 14:52, 2周前 , 249F
K訓練的 拉到128K-256K就注意力渙散+思
07/09 14:52, 249F
→
07/09 14:52, 2周前 , 250F
考無限loop率提高 要自己看好模型訓練說
07/09 14:52, 250F
→
07/09 14:52, 2周前 , 251F
明跟社群實測結果
07/09 14:52, 251F
‣ 更多 tacovirus 的文章
文章代碼(AID): #1gIfT6GX (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 tacovirus 的文章
文章代碼(AID): #1gIfT6GX (PC_Shopping)