PTT數位生活區 / PC_Shopping (個人電腦購買)

Fw: [閒聊] RTX3090 單/雙卡 本地LLM運算AI電腦心得

看板PC_Shopping (個人電腦購買)作者 (Zaious.)時間3周前 (2026/04/05 17:57), 3周前編輯推噓67(67推 0噓 130→)
留言197則, 45人參與, 3周前最新討論串1/1
※ [本文轉錄自 AI_Art 看板 #1fqY_Ppm ] 這篇算是純粹組裝心得文，拋磚引玉給大家參考， 目標鎖定跑中規模的開源模型，目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上，我認為GTX3090是唯一信仰，以前沒有以後也不會有這價位的24GB+ VRAM顯卡了， 至於Mac那條路我不熟，有熟的人可以另外補充，但PC架構還是有一定程度的擴充性。 先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的 單3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：TUF GAMING B660-PLUS WIFI D4 RAM (記憶體)：金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼)：全漢 CMT370 後來有一度上到128GB記憶體，發現真的沒啥用， 這張單沒什麼特別的，現在照著張組一台二手的應該也沒什麼問題， 唯一的細節是僅適合單3090，要雙3090基本上大半台都要換掉，見以下 ------------ 雙3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：MSI Z690 FORCE WIFI RAM (記憶體)：威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：振華 Leadex 1200W CHASSIS (機殼)：Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090，沒了，對，就是這麼坑 因為雙3090跑LLM，LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板， 這個條件，基本上DDR4的主機板中沒有。 就連DDR5，也只有部分的690跟790有，同一系690有不代表790有， 不要問我為什麼我不知道，Claude的答案是後續的主機板會把槽留給硬碟？ 是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色 舉例來說： 這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下： MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。 不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦，Claude建議我買一個風扇Hub ，後來發現利民內建串接了算是個小失誤) 機殼方面，感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://www.ptt.cc/bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間，優點是整個機殼有15個風扇孔可以裝，吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢，但我覺得應該可以考慮一張拉去旁邊站， 這個打算下禮拜再來處理，也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧，我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上， 全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了， 最後我買二手的DDR5 32Gx2 花了15000，這部分也僅供參考。 至於未來會不會跌？我是說不準，但3090我看漲是肯定的。 三年前第一張3090我買19000，上個月第二張3090我買24000，現在價錢大家可以自己看看 目前規劃上來說，跑本地模型不是為了取代雲端模型。 是讓本地模型完成大量基礎、涉及機敏的工作，舉例來說： ‧大量 code review 初篩，只把複雜問題送給 Sonnet/Opus ‧機密文件問答，資料不出門 ‧多代理人架構的執行層，成本歸零 ‧24 小時批次推理，電費比 API 費用省 在本地跑 Qwen / Gemma，雲端留給真正需要判斷力的任務。 我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害，但我不會假設它永遠都在，掌握自己的動態算力， 這才是黃仁勳說的 Sovereign AI。 以上是不專業分享，歡迎指導，感謝。 -- AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題！ ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedIn：https://www.linkedin.com/in/zaious/ GitHub ：https://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書： https://github.com/Zaious/ChronicleCore-Architecture -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04 ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:19
→
04/05 17:58, 3周前 , 1F
看過板規應該沒什麼冒犯的地方嗎...? 感謝
04/05 17:58, 1F
→
04/05 17:58, 3周前 , 2F
電蝦板尤其是Zenryaku大在我幾次組電腦都給
04/05 17:58, 2F
→
04/05 17:58, 3周前 , 3F
了相當詳盡的意見，希望把一點AI PC的範本
04/05 17:58, 3F
→
04/05 17:58, 3周前 , 4F
轉來板上提供給未來有需要的人參考。
04/05 17:58, 4F
推
04/05 18:01, 3周前 , 5F
48G跑個30B上下估計只能Q4 也不知道你
04/05 18:01, 5F
→
04/05 18:01, 3周前 , 6F
有沒有建vLLM SGLang 離生產級好遠
04/05 18:01, 6F
推
04/05 18:01, 3周前 , 7F
先推再看
04/05 18:01, 7F
推
04/05 18:02, 3周前 , 8F
3090的背板太燙
04/05 18:02, 8F
推
04/05 18:07, 3周前 , 9F
單機生產級多工養龍蝦最低IQ2_XXS起跳
04/05 18:07, 9F
推
04/05 18:11, 3周前 , 10F
少數模型還有1bit量化技術 應該能更省
04/05 18:11, 10F
→
04/05 18:15, 3周前 , 11F
雙3090能跑的模型不可能當龍蝦主腦啦
04/05 18:15, 11F
推
04/05 18:15, 3周前 , 12F
推
04/05 18:15, 12F
→
04/05 18:15, 3周前 , 13F
負責資料收集、文件翻譯、知識歸納都很有用
04/05 18:15, 13F
→
04/05 18:16, 3周前 , 14F
上面這些工作讓Cluade來跑才真的浪費
04/05 18:16, 14F
推
04/05 18:21, 3周前 , 15F
感謝分享配備，看來cpu不用買太好也能跑
04/05 18:21, 15F
推
04/05 18:32, 3周前 , 16F
不知有沒有勇者嘗試雙ARC B70的
04/05 18:32, 16F
→
04/05 18:34, 3周前 , 17F
想請問你的結論這幾個模型哪個比較好用
04/05 18:34, 17F
→
04/05 18:34, 3周前 , 18F
？ Gemma 4 31b還是qwen3.5 27b還是35b?
04/05 18:34, 18F
可以參考AI板文章 https://www.ptt.cc/bbs/AI_Art/M.1772731938.A.221.html https://www.ptt.cc/bbs/AI_Art/M.1775187123.A.6FB.html 快速結論： 要推理：雲端超級模型 eg.Opus 4.6 > GPT 5.4 > Gemini 3.1 Pro 地端苦工(翻譯、資料清洗)：Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報)：MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求：Qwen3.5 多模態任務：Gemma4
推
04/05 18:34, 3周前 , 19F
還是每個月花100美好了…
04/05 18:34, 19F
→
04/05 18:35, 3周前 , 20F
Gemma4我還沒事，我目前都跑Qwen
04/05 18:35, 20F
→
04/05 18:35, 3周前 , 21F
然後Claude我每個月是訂200$，100$都不夠用
04/05 18:35, 21F
→
04/05 18:36, 3周前 , 22F
不過Claude這幾天才嚴令用Oauth串訂閱養蝦
04/05 18:36, 22F
→
04/05 18:36, 3周前 , 23F
你要養蝦還是要評估怎麼節流
04/05 18:36, 23F
推
04/05 18:38, 3周前 , 24F
兩張卡應該是vLLM para開2去跑了吧
04/05 18:38, 24F
→
04/05 18:38, 3周前 , 25F
都玩到這樣了總不會還在用ollama...
04/05 18:38, 25F
→
04/05 18:39, 3周前 , 26F
不知道Qwen3.5 Tool Call的Bug修好了
04/05 18:39, 26F
→
04/05 18:39, 3周前 , 27F
沒
04/05 18:39, 27F
誠實來說，我組完雙卡就回家過清明了，還在研究怎麼跑雙卡比較實際， 所以這篇基本上是提供硬體上的心得XD ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:53:06
推
04/05 18:51, 3周前 , 28F
Qwen3.5雖然很強，但使用上真問題一堆
04/05 18:51, 28F
推
04/05 19:01, 3周前 , 29F
量化模型要Q8_K或Q8_K_L問題會少很多
04/05 19:01, 29F
推
04/05 19:05, 3周前 , 30F
居然還有少數Q8_K_XL量化模型品質更好
04/05 19:05, 30F
推
04/05 19:10, 3周前 , 31F
推 我就是拉到旁邊站 兩張卡疊加放
04/05 19:10, 31F
→
04/05 19:10, 3周前 , 32F
置不適合我這溫度敏感黨
04/05 19:10, 32F
推
04/05 19:19, 3周前 , 33F
如果接受拉到旁邊站...其實用拆分卡就好，
04/05 19:19, 33F
→
04/05 19:19, 3周前 , 34F
不過原PO本來的卡有點低階不確定是否支援
04/05 19:19, 34F
→
04/05 19:20, 3周前 , 35F
本來的MB
04/05 19:20, 35F
→
04/05 19:20, 3周前 , 36F
3090有沒有考慮上nvlink
04/05 19:20, 36F
推
04/05 19:53, 3周前 , 37F
其實X570比較容易找到符合的，或是多花
04/05 19:53, 37F
還有 120 則推文
推
04/06 18:26, 3周前 , 158F
可惜速度快的gpt-oss不具圖像辨識能力
04/06 18:26, 158F
推
04/06 18:27, 3周前 , 159F
自己用qwen3.5-27b測score 23, 幹掉k
04/06 18:27, 159F
→
04/06 18:27, 3周前 , 160F
imi k2.5 , 對標qwen3.6 plus
04/06 18:27, 160F
→
04/06 18:27, 3周前 , 161F
幹掉glm 5, 這是真的嗎？
04/06 18:27, 161F
→
04/06 18:28, 3周前 , 162F
還比 gpt 5.4高我是不太相信這個數據
04/06 18:28, 162F
→
04/06 18:29, 3周前 , 163F
04/06 18:29, 163F
推
04/06 21:12, 3周前 , 164F
各個benchmark有其觀察面向SQL看的是tooling
04/06 21:12, 164F
→
04/06 21:13, 3周前 , 165F
比如說長上下文能力在這個SQL就看不出來
04/06 21:13, 165F
推
04/06 21:17, 3周前 , 166F
Qwen3.5 27B可能在這種單SQL場景正確性高
04/06 21:17, 166F
推
04/07 08:51, 3周前 , 167F
最近剛好在玩 5090+3090(x4) 效果還不錯
04/07 08:51, 167F
→
04/07 08:51, 3周前 , 168F
04/07 08:51, 168F
→
04/07 08:51, 3周前 , 169F
magnum 72b q4_k_ml 速度超快 品質還算可
04/07 08:51, 169F
→
04/07 08:51, 3周前 , 170F
以
04/07 08:51, 170F
→
04/07 08:51, 3周前 , 171F
magnum 123b iq3_xxs 速度慢一些 但更聰
04/07 08:51, 171F
→
04/07 08:51, 3周前 , 172F
明
04/07 08:51, 172F
→
04/07 08:51, 3周前 , 173F
不過期間把OS搞壞幾次 後來發現是ddr5 e
04/07 08:51, 173F
→
04/07 08:51, 3周前 , 174F
xpo 還有主機板ai 超頻的問題 關掉就穩了
04/07 08:51, 174F
推
04/07 10:30, 3周前 , 175F
x8 x8 主機板 不少阿
04/07 10:30, 175F
→
04/07 11:19, 3周前 , 176F
不確定是不是因為我不想換CPU，還是該連CPU
04/07 11:19, 176F
→
04/07 11:19, 3周前 , 177F
都一起換掉
04/07 11:19, 177F
→
04/07 11:19, 3周前 , 178F
1700腳位的真的少
04/07 11:19, 178F
推
04/07 11:58, 3周前 , 179F
AM5或1851的x8/x8板子選擇就不少
04/07 11:58, 179F
推
04/07 15:13, 3周前 , 180F
不具圖像辨識能力，可以用mcp調用工
04/07 15:13, 180F
→
04/07 15:13, 3周前 , 181F
具，像minimax m2.5可以mcp調用工具
04/07 15:13, 181F
→
04/07 15:13, 3周前 , 182F
就可以圖像辨識，ocr, 生成影片
04/07 15:13, 182F
→
04/07 15:16, 3周前 , 183F
我有實做過，但是mcp 呼叫有被其他模
04/07 15:16, 183F
→
04/07 15:16, 3周前 , 184F
型改寫過，造成語法不合，現在還在想
04/07 15:16, 184F
→
04/07 15:16, 3周前 , 185F
辦法復原
04/07 15:16, 185F
推
04/07 16:57, 3周前 , 186F
想組台來看youtube和玩麥塊
04/07 16:57, 186F
→
04/07 23:59, 3周前 , 187F
看一看電腦裡的3080
04/07 23:59, 187F
→
04/07 23:59, 3周前 , 188F
還是看大神們怎麼玩吧QwQ
04/07 23:59, 188F
推
04/08 13:17, 3周前 , 189F
48gb可以用Gemma 4 31b fp8的版本
04/08 13:17, 189F
→
04/08 13:17, 3周前 , 190F
，跑起來蠻順的
04/08 13:17, 190F
推
04/08 23:42, 3周前 , 191F
現在訂閱流量都玩不透明的計算...早
04/08 23:42, 191F
→
04/08 23:42, 3周前 , 192F
晚都是要自幹的不然等著被養套殺
04/08 23:42, 192F
→
04/09 09:46, 3周前 , 193F
本地小模型現在就能當玩具沒有生產力，等
04/09 09:46, 193F
→
04/09 09:46, 3周前 , 194F
共通記憶體128白菜價的時候再談自幹吧
04/09 09:46, 194F
→
04/09 09:48, 3周前 , 195F
補充這句只限個人領域。商用的話不管多少
04/09 09:48, 195F
→
04/09 09:48, 3周前 , 196F
錢都是洗下去，太多機密資料要本地弄了
04/09 09:48, 196F
推
04/09 21:07, 3周前 , 197F
推
04/09 21:07, 197F
‣ 更多 ZMTL 的文章
文章代碼(AID): #1fqZ80qM (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ZMTL 的文章
文章代碼(AID): #1fqZ80qM (PC_Shopping)