PTT數位生活區 / PC_Shopping (個人電腦購買)

Fw: [閒聊] RTX3090 單/雙卡 本地LLM運算AI電腦心得

看板PC_Shopping (個人電腦購買)作者 (Zaious.)時間4小時前 (2026/04/05 17:57), 4小時前編輯推噓30(30推 0噓 43→)
留言73則, 23人參與, 16分鐘前最新討論串1/1
※ [本文轉錄自 AI_Art 看板 #1fqY_Ppm ] 這篇算是純粹組裝心得文，拋磚引玉給大家參考， 目標鎖定跑中規模的開源模型，目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上，我認為GTX3090是唯一信仰，以前沒有以後也不會有這價位的24GB+ VRAM顯卡了， 至於Mac那條路我不熟，有熟的人可以另外補充，但PC架構還是有一定程度的擴充性。 先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的 單3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：TUF GAMING B660-PLUS WIFI D4 RAM (記憶體)：金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼)：全漢 CMT370 後來有一度上到128GB記憶體，發現真的沒啥用， 這張單沒什麼特別的，現在照著張組一台二手的應該也沒什麼問題， 唯一的細節是僅適合單3090，要雙3090基本上大半台都要換掉，見以下 ------------ 雙3090配置 CPU (中央處理器)：i5-12400 MB (主機板)：MSI Z690 FORCE WIFI RAM (記憶體)：威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡)：ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟)：Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器)：振華 Leadex 1200W CHASSIS (機殼)：Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090，沒了，對，就是這麼坑 因為雙3090跑LLM，LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板， 這個條件，基本上DDR4的主機板中沒有。 就連DDR5，也只有部分的690跟790有，同一系690有不代表790有， 不要問我為什麼我不知道，Claude的答案是後續的主機板會把槽留給硬碟？ 是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色 舉例來說： 這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下： MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。 不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦，Claude建議我買一個風扇Hub ，後來發現利民內建串接了算是個小失誤) 機殼方面，感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://www.ptt.cc/bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間，優點是整個機殼有15個風扇孔可以裝，吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢，但我覺得應該可以考慮一張拉去旁邊站， 這個打算下禮拜再來處理，也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧，我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上， 全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了， 最後我買二手的DDR5 32Gx2 花了15000，這部分也僅供參考。 至於未來會不會跌？我是說不準，但3090我看漲是肯定的。 三年前第一張3090我買19000，上個月第二張3090我買24000，現在價錢大家可以自己看看 目前規劃上來說，跑本地模型不是為了取代雲端模型。 是讓本地模型完成大量基礎、涉及機敏的工作，舉例來說： ‧大量 code review 初篩，只把複雜問題送給 Sonnet/Opus ‧機密文件問答，資料不出門 ‧多代理人架構的執行層，成本歸零 ‧24 小時批次推理，電費比 API 費用省 在本地跑 Qwen / Gemma，雲端留給真正需要判斷力的任務。 我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害，但我不會假設它永遠都在，掌握自己的動態算力， 這才是黃仁勳說的 Sovereign AI。 以上是不專業分享，歡迎指導，感謝。 -- AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題！ ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedIn：https://www.linkedin.com/in/zaious/ GitHub ：https://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書： https://github.com/Zaious/ChronicleCore-Architecture -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04 ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:19
→
04/05 17:58, 4小時前 , 1F
看過板規應該沒什麼冒犯的地方嗎...? 感謝
04/05 17:58, 1F
→
04/05 17:58, 4小時前 , 2F
電蝦板尤其是Zenryaku大在我幾次組電腦都給
04/05 17:58, 2F
→
04/05 17:58, 4小時前 , 3F
了相當詳盡的意見，希望把一點AI PC的範本
04/05 17:58, 3F
→
04/05 17:58, 4小時前 , 4F
轉來板上提供給未來有需要的人參考。
04/05 17:58, 4F
推
04/05 18:01, 4小時前 , 5F
48G跑個30B上下估計只能Q4 也不知道你
04/05 18:01, 5F
→
04/05 18:01, 4小時前 , 6F
有沒有建vLLM SGLang 離生產級好遠
04/05 18:01, 6F
推
04/05 18:01, 4小時前 , 7F
先推再看
04/05 18:01, 7F
推
04/05 18:02, 4小時前 , 8F
3090的背板太燙
04/05 18:02, 8F
推
04/05 18:07, 4小時前 , 9F
單機生產級多工養龍蝦最低IQ2_XXS起跳
04/05 18:07, 9F
推
04/05 18:11, 4小時前 , 10F
少數模型還有1bit量化技術 應該能更省
04/05 18:11, 10F
→
04/05 18:15, 4小時前 , 11F
雙3090能跑的模型不可能當龍蝦主腦啦
04/05 18:15, 11F
推
04/05 18:15, 4小時前 , 12F
推
04/05 18:15, 12F
→
04/05 18:15, 4小時前 , 13F
負責資料收集、文件翻譯、知識歸納都很有用
04/05 18:15, 13F
→
04/05 18:16, 4小時前 , 14F
上面這些工作讓Cluade來跑才真的浪費
04/05 18:16, 14F
推
04/05 18:21, 4小時前 , 15F
感謝分享配備，看來cpu不用買太好也能跑
04/05 18:21, 15F
推
04/05 18:32, 4小時前 , 16F
不知有沒有勇者嘗試雙ARC B70的
04/05 18:32, 16F
→
04/05 18:34, 4小時前 , 17F
想請問你的結論這幾個模型哪個比較好用
04/05 18:34, 17F
→
04/05 18:34, 4小時前 , 18F
？ Gemma 4 31b還是qwen3.5 27b還是35b?
04/05 18:34, 18F
可以參考AI板文章 https://www.ptt.cc/bbs/AI_Art/M.1772731938.A.221.html https://www.ptt.cc/bbs/AI_Art/M.1775187123.A.6FB.html 快速結論： 要推理：雲端超級模型 eg.Opus 4.6 > GPT 5.4 > Gemini 3.1 Pro 地端苦工(翻譯、資料清洗)：Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報)：MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求：Qwen3.5 多模態任務：Gemma4
推
04/05 18:34, 4小時前 , 19F
還是每個月花100美好了…
04/05 18:34, 19F
→
04/05 18:35, 4小時前 , 20F
Gemma4我還沒事，我目前都跑Qwen
04/05 18:35, 20F
→
04/05 18:35, 4小時前 , 21F
然後Claude我每個月是訂200$，100$都不夠用
04/05 18:35, 21F
→
04/05 18:36, 4小時前 , 22F
不過Claude這幾天才嚴令用Oauth串訂閱養蝦
04/05 18:36, 22F
→
04/05 18:36, 4小時前 , 23F
你要養蝦還是要評估怎麼節流
04/05 18:36, 23F
推
04/05 18:38, 4小時前 , 24F
兩張卡應該是vLLM para開2去跑了吧
04/05 18:38, 24F
→
04/05 18:38, 4小時前 , 25F
都玩到這樣了總不會還在用ollama...
04/05 18:38, 25F
→
04/05 18:39, 4小時前 , 26F
不知道Qwen3.5 Tool Call的Bug修好了
04/05 18:39, 26F
→
04/05 18:39, 4小時前 , 27F
沒
04/05 18:39, 27F
誠實來說，我組完雙卡就回家過清明了，還在研究怎麼跑雙卡比較實際， 所以這篇基本上是提供硬體上的心得XD ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:53:06
推
04/05 18:51, 4小時前 , 28F
Qwen3.5雖然很強，但使用上真問題一堆
04/05 18:51, 28F
推
04/05 19:01, 3小時前 , 29F
量化模型要Q8_K或Q8_K_L問題會少很多
04/05 19:01, 29F
推
04/05 19:05, 3小時前 , 30F
居然還有少數Q8_K_XL量化模型品質更好
04/05 19:05, 30F
推
04/05 19:10, 3小時前 , 31F
推 我就是拉到旁邊站 兩張卡疊加放
04/05 19:10, 31F
→
04/05 19:10, 3小時前 , 32F
置不適合我這溫度敏感黨
04/05 19:10, 32F
推
04/05 19:19, 3小時前 , 33F
如果接受拉到旁邊站...其實用拆分卡就好，
04/05 19:19, 33F
→
04/05 19:19, 3小時前 , 34F
不過原PO本來的卡有點低階不確定是否支援
04/05 19:19, 34F
→
04/05 19:20, 3小時前 , 35F
本來的MB
04/05 19:20, 35F
→
04/05 19:20, 3小時前 , 36F
3090有沒有考慮上nvlink
04/05 19:20, 36F
推
04/05 19:53, 3小時前 , 37F
其實X570比較容易找到符合的，或是多花
04/05 19:53, 37F
→
04/05 19:53, 3小時前 , 38F
一點找個TR4 X399就能隨便插，還能用相
04/05 19:53, 38F
→
04/05 19:53, 3小時前 , 39F
對便宜的16G湊到128G
04/05 19:53, 39F
→
04/05 19:58, 2小時前 , 40F
對了我要請教一下，直立架+延長線到底能不能
04/05 19:58, 40F
→
04/05 19:58, 2小時前 , 41F
保留x8啊，硬體我真的很不懂XDDD
04/05 19:58, 41F
→
04/05 20:06, 2小時前 , 42F
X570 proart我記得有x8/x8
04/05 20:06, 42F
推
04/05 20:24, 2小時前 , 43F
直立架跟延長線本身目標就是跑PCIe X1
04/05 20:24, 43F
→
04/05 20:24, 2小時前 , 44F
6
04/05 20:24, 44F
→
04/05 20:24, 2小時前 , 45F
你要跑x8不會有太大問題
04/05 20:24, 45F
→
04/05 20:24, 2小時前 , 46F
但是需要小心訊號不穩
04/05 20:24, 46F
→
04/05 20:24, 2小時前 , 47F
有擔心的話可以考慮SFF系列的轉接卡
04/05 20:24, 47F
推
04/05 20:28, 2小時前 , 48F
3090 也要缺貨了嗎?
04/05 20:28, 48F
推
04/05 20:30, 2小時前 , 49F
如果只是翻譯功能這幾天玩Gemma 4 E4B感
04/05 20:30, 49F
→
04/05 20:30, 2小時前 , 50F
覺比gemma 3 27B還好用
04/05 20:30, 50F
推
04/05 20:34, 2小時前 , 51F
Gemma 4 E4B還支援音訊 Qwen3.5有台語
04/05 20:34, 51F
推
04/05 20:36, 2小時前 , 52F
前幾天才看到有人雙3090延長線燒毀 樓主
04/05 20:36, 52F
→
04/05 20:36, 2小時前 , 53F
要用好一點的延長線啊
04/05 20:36, 53F
推
04/05 20:42, 2小時前 , 54F
看不懂還是給推
04/05 20:42, 54F
推
04/05 20:49, 2小時前 , 55F
原PO指的延長線是PCIE 我還沒聽過會燒
04/05 20:49, 55F
推
04/05 20:56, 1小時前 , 56F
04/05 20:56, 56F
→
04/05 20:56, 1小時前 , 57F
04/05 20:56, 57F
推
04/05 20:57, 1小時前 , 58F
有人燒過喔，不少個
04/05 20:57, 58F
→
04/05 20:59, 1小時前 , 59F
好用的延長線跟直立架有推薦嗎XD
04/05 20:59, 59F
推
04/05 21:01, 1小時前 , 60F
以現在RAM/SSD金貴的程度，有這樣的需求，
04/05 21:01, 60F
→
04/05 21:01, 1小時前 , 61F
DGX Spark好像也不是不能考慮了?
04/05 21:01, 61F
→
04/05 21:01, 1小時前 , 62F
這有調查過原因嗎？我猜也是觸點問題
04/05 21:01, 62F
推
04/05 21:07, 1小時前 , 63F
目前3090用oculink外接（pcie3.0x4）跑c
04/05 21:07, 63F
→
04/05 21:07, 1小時前 , 64F
omfyui和llm使用約一年，一切順暢。
04/05 21:07, 64F
推
04/05 21:43, 1小時前 , 65F
沒去追蹤，不知道跟GN之前拍過的nz
04/05 21:43, 65F
→
04/05 21:43, 1小時前 , 66F
xt h1是不是同問題，但品牌都不同
04/05 21:43, 66F
推
04/05 21:50, 1小時前 , 67F
如果什麼牌子的線都有機會燒起來
04/05 21:50, 67F
→
04/05 21:50, 1小時前 , 68F
我看解法只剩在機殼裡放熱像儀了
04/05 21:50, 68F
推
04/05 22:33, 22分鐘前 , 69F
我好奇nvlink在消費級系統裡面有多大幫助
04/05 22:33, 69F
→
04/05 22:33, 22分鐘前 , 70F
，有機會跑一下比較w
04/05 22:33, 70F
→
04/05 22:39, 16分鐘前 , 71F
根據Claude的說法，有沒有Nvlink 跑LLM大概
04/05 22:39, 71F
→
04/05 22:39, 16分鐘前 , 72F
差10-15%，主要還是靠PCIE連通，但我不知道
04/05 22:39, 72F
→
04/05 22:39, 16分鐘前 , 73F
真的假的XD
04/05 22:39, 73F
‣ 更多 ZMTL 的文章
文章代碼(AID): #1fqZ80qM (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ZMTL 的文章
文章代碼(AID): #1fqZ80qM (PC_Shopping)