PTT數位生活區 / PC_Shopping (個人電腦購買)

Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求

看板PC_Shopping (個人電腦購買)作者 (BH)時間3天前 (2026/08/05 18:43), 編輯推噓12(12推 0噓 46→)
留言58則, 15人參與, 2天前最新討論串2/2 (看更多)
※ 引述《lordmi (星宿喵)》之銘言： : 最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好 : 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有 : 生產力的模型都大於這個起跑線，低於這個規模先不談。 十萬玩LLM 答案很明顯就只有統一記憶體架構阿.. 128GB 統一記憶體架構的miniPC 現在大概就是十萬多 FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺 但是這個範圍有新千問這種密度超高的好模型 高智商的 真的DIY靈魂爆發 爆改一下散熱 (雖然大部分瓦數被鎖死根本拉不上去 但是可以變安靜一點 還是有點樂趣的) 這都是今年LLM的標準答案了 可是這個版很少人玩 可以參考一下 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.118.209.229 (美國) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1785926625.A.D46.html
推
08/05 18:59, 3天前 , 1F
現在好像還沒有Strix Halo + dGPU的方案
08/05 18:59, 1F
→
08/05 19:25, 3天前 , 2F
因為你也打不出商品名
08/05 19:25, 2F
→
08/05 19:25, 3天前 , 3F
目前大概只有蘋果跟對岸
08/05 19:25, 3F
→
08/05 19:26, 3天前 , 4F
還有NV出的DGX
08/05 19:26, 4F
→
08/05 19:28, 3天前 , 5F
對 沒打出商品名就是因為大部分要美亞
08/05 19:28, 5F
→
08/05 19:29, 3天前 , 6F
對岸那邊的我不清楚 我主要看北美
08/05 19:29, 6F
→
08/05 19:37, 3天前 , 7F
如果要現在買上一代的 可以看GMKTEC
08/05 19:37, 7F
→
08/05 19:37, 3天前 , 8F
或者framework desktop
08/05 19:37, 8F
→
08/05 19:38, 3天前 , 9F
Al Max+ 395 系列的
08/05 19:38, 9F
推
08/05 20:05, 3天前 , 10F
華碩z13也是395+128g 十萬內還送螢幕
08/05 20:05, 10F
→
08/05 20:10, 3天前 , 11F
那台有個小島秀夫聯名 差點沒忍住 冷汗
08/05 20:10, 11F
推
08/05 20:24, 3天前 , 12F
DGX我覺得可惜在消費級玩法生態吧
08/05 20:24, 12F
→
08/05 20:58, 3天前 , 13F
DGX重點是可以NVLink
08/05 20:58, 13F
推
08/05 21:47, 3天前 , 14F
要Strix Halo + dGPU的可以找對岸oculink
08/05 21:47, 14F
→
08/05 21:47, 3天前 , 15F
方案看看
08/05 21:47, 15F
→
08/05 22:33, 3天前 , 16F
這種10w+機器台灣難找 啟動怕出保麻煩
08/05 22:33, 16F
→
08/05 22:35, 3天前 , 17F
海鮮賣的基本也都是從對岸淘來的 價格先
08/05 22:35, 17F
→
08/05 22:35, 3天前 , 18F
多兩成 保不保固還很難說
08/05 22:35, 18F
→
08/06 07:42, 2天前 , 19F
Z13 128G 之前一直卡在95K 沒繼續漲也還有
08/06 07:42, 19F
→
08/06 07:42, 2天前 , 20F
貨 很神奇 當初是怕體積太小+液金長期會有
08/06 07:42, 20F
→
08/06 07:42, 2天前 , 21F
問題所以沒買 現在看是沒了
08/06 07:42, 21F
→
08/06 09:22, 2天前 , 22F
DGX要搭配什麼model比較能有真正生產力？
08/06 09:22, 22F
推
08/06 09:47, 2天前 , 23F
Ornith蠻好用的
08/06 09:47, 23F
推
08/06 10:22, 2天前 , 24F
單台dgx spark其實有點尷尬，這個階段最
08/06 10:22, 24F
→
08/06 10:22, 2天前 , 25F
強的model是qwen3.6 27b的Q8量化(以及各
08/06 10:22, 25F
→
08/06 10:22, 2天前 , 26F
種魔改版)，還有下週要開源的3.8 27b，
08/06 10:22, 26F
→
08/06 10:22, 2天前 , 27F
但dgx spark本身因為記憶體帶寬限制超不
08/06 10:22, 27F
→
08/06 10:22, 2天前 , 28F
適合跑dense模型，速度極慢(20tok/s左右
08/06 10:22, 28F
→
08/06 10:22, 2天前 , 29F
)，再次就是35B a3b，這顆跑得很舒服，
08/06 10:22, 29F
→
08/06 10:22, 2天前 , 30F
但穩定度沒27b高，而且也不需要dgx spar
08/06 10:22, 30F
→
08/06 10:22, 2天前 , 31F
k來跑，如果要大知識量的chatbot話也能
08/06 10:22, 31F
→
08/06 10:22, 2天前 , 32F
玩玩deepseek v4 flash 0731 Q2量化，但
08/06 10:22, 32F
→
08/06 10:22, 2天前 , 33F
Q2量化你就別指望他能幹什麼正經活了
08/06 10:22, 33F
→
08/06 10:25, 2天前 , 34F
目前本地最強解是雙dgx spark或mac stud
08/06 10:25, 34F
→
08/06 10:25, 2天前 , 35F
io 256G，直接裝DSv4flash，除了沒多模
08/06 10:25, 35F
→
08/06 10:25, 2天前 , 36F
態外幾乎可以說是完美解
08/06 10:25, 36F
推
08/06 11:07, 2天前 , 37F
但mac 256G現在已經沒有新貨 不知要等多久
08/06 11:07, 37F
推
08/06 11:19, 2天前 , 38F
如果不是公司或私人開發還有生產瑟瑟的
08/06 11:19, 38F
→
08/06 11:19, 2天前 , 39F
東西，這種統一模型的機子定位很尷尬，
08/06 11:19, 39F
→
08/06 11:19, 2天前 , 40F
除了已經炒到天價跟線上模型比，線上比
08/06 11:19, 40F
→
08/06 11:19, 2天前 , 41F
他快比他聰明，就算用幾年的api費用還比
08/06 11:19, 41F
→
08/06 11:19, 2天前 , 42F
買他花費少多了
08/06 11:19, 42F
推
08/06 11:24, 2天前 , 43F
但就是因為有破甲跟資料私有化需求，本
08/06 11:24, 43F
→
08/06 11:24, 2天前 , 44F
地模型才一直有人寧可花數十倍百倍的金
08/06 11:24, 44F
→
08/06 11:24, 2天前 , 45F
額在玩啊
08/06 11:24, 45F
推
08/06 11:26, 2天前 , 46F
還有穩定性，不會新模型出來給你爽一個
08/06 11:26, 46F
→
08/06 11:26, 2天前 , 47F
禮拜後就直接降智到下次新模型發佈
08/06 11:26, 47F
→
08/06 11:35, 2天前 , 48F
穩定性是我考慮使用本地LLM的主要考量，要
08/06 11:35, 48F
→
08/06 11:35, 2天前 , 49F
能穩定產出結果才能讓優化流程得以發揮
08/06 11:35, 49F
推
08/06 11:52, 2天前 , 50F
因為顯卡可以跑的27B31B一直有更新
08/06 11:52, 50F
→
08/06 11:52, 2天前 , 51F
進步，128B級別的反而沒在進步，而
08/06 11:52, 51F
→
08/06 11:52, 2天前 , 52F
往上比1750B那種只能專業機架跑的又
08/06 11:52, 52F
→
08/06 11:52, 2天前 , 53F
差太多
08/06 11:52, 53F
推
08/06 12:04, 2天前 , 54F
突然想到還有step 3.7 flash這顆，可以
08/06 12:04, 54F
→
08/06 12:04, 2天前 , 55F
跑Q4低上下文或Q3高上下文
08/06 12:04, 55F
→
08/06 12:14, 2天前 , 56F
不喜歡spark 的散熱機構 迷你主機應該像
08/06 12:14, 56F
→
08/06 12:14, 2天前 , 57F
長型銘凡g7或極摩客x3的大風扇比較耐用
08/06 12:14, 57F
→
08/06 12:14, 2天前 , 58F
小方盒解熱能力有限，效能無法拉高
08/06 12:14, 58F
‣ 更多 bhmagic 的文章
文章代碼(AID): #1gSnFXr6 (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 bhmagic 的文章
文章代碼(AID): #1gSnFXr6 (PC_Shopping)