PTT數位生活區 / PC_Shopping (個人電腦購買)

Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求

看板PC_Shopping (個人電腦購買)作者 (星宿喵)時間3天前 (2026/08/05 17:57), 編輯推噓26(26推 0噓 63→)
留言89則, 17人參與, 2天前最新討論串1/2 (看更多)
※ 引述《doasgloria (青柳立夏)》之銘言： : 已買/未買/已付訂金（元）： 未買(預計在日本購買) : 預算/用途：80K (約40萬日幣) : 主要希望可以跑一些極輕度LLM LORA練習(3B 7B量化模型) 最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有 生產力的模型都大於這個起跑線，低於這個規模先不談。 無腦買5090一張就超過10萬了，然後也不能放進去，得買兩張 如果是搞色圖或色影，那還是NVIDIA 吧 便宜的綠廠垃圾佬方案是3080魔改套4090散熱器兩張共40GB，目前中國價格含券似乎 在3500一張上下。不過只保一年而且是中國國內 如果限定到台灣，可買到新品是： 比較正常(?)的方案，四張單槽 RTX5060Ti/16GB。中國那邊有人測試 四卡系統待機功耗低於 100W，滿載低於 600W；滿載時風扇約 40%～50%，GPU 溫度不到60C。 如果你是紅廠信徒，只想戰未來。替代方案：兩張 AMD R9700 32GB，合計64GB。 雙卡成本約10萬元。與4張16GB相比，雙卡架構在物理安裝、供電、線材、故障點 與系統管理方面都更簡單 如果不重視CUDA生態對作圖作影片的優勢，R9700處理事務跟Coding還是可取的。 大概就是這樣，反正你不買我不買明天貴5000，要用就買吧 -- 弟子｢先生、処女を貴重だと思う男は多いです?」 孔明「..その通りだ ｣ 弟子｢しかし逆に童貞は女に気持ち悪がられます? ｣孔明「....確かに ｣ 弟子｢おかしいじゃないですか、何故このような意識の違いが生まれるのですか ｣ 孔明｢それは一度も侵入を許していない砦は頼もしく 一度も侵入に成功しない兵士は頼りないからだ! ｣ 原出：「孔明の罠だ！」(民明書房新刊) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.90.181 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1785923845.A.C8C.html
推
08/05 18:05, 3天前 , 1F
更低買中國2080ti魔改2張22k搞定
08/05 18:05, 1F
→
08/05 18:05, 3天前 , 2F
剩下就這樣板子要能拆成X8+X8的
08/05 18:05, 2F
→
08/05 18:06, 3天前 , 3F
我弄一弄整機不到50k
08/05 18:06, 3F
推
08/05 18:11, 3天前 , 4F
中國他們網友都說店保=不保=送張哥
08/05 18:11, 4F
推
08/05 18:17, 3天前 , 5F
2張5080不知道可不可行，跑Qwen 3
08/05 18:17, 5F
→
08/05 18:17, 3天前 , 6F
.5 27B
08/05 18:17, 6F
→
08/05 18:18, 3天前 , 7F
我主機板最多裝兩張，再上去就不知
08/05 18:18, 7F
→
08/05 18:18, 3天前 , 8F
道怎麼裝了@@
08/05 18:18, 8F
推
08/05 18:18, 3天前 , 9F
藍廠的B70有未來可以戰嗎
08/05 18:18, 9F
推
08/05 18:20, 3天前 , 10F
2張5080大概是2張2080ti魔改的5-6倍價
08/05 18:20, 10F
→
08/05 18:20, 3天前 , 11F
2張2080ti足夠跑27B的模型了
08/05 18:20, 11F
推
08/05 18:20, 3天前 , 12F
目前最便宜的方案就雙3090共48G 可以認
08/05 18:20, 12F
→
08/05 18:20, 3天前 , 13F
真開始跑些有用的東西 再上去就是看dgx
08/05 18:20, 13F
→
08/05 18:20, 3天前 , 14F
spark跟mac了
08/05 18:20, 14F
→
08/05 18:21, 3天前 , 15F
3090的價格炒到1張30k以上，還不保證
08/05 18:21, 15F
→
08/05 18:21, 3天前 , 16F
是不是礦卡。
08/05 18:21, 16F
→
08/05 18:22, 3天前 , 17F
要不然20k出頭的3080是真的可以
08/05 18:22, 17F
推
08/05 18:25, 3天前 , 18F
講錯3090
08/05 18:25, 18F
推
08/05 18:27, 3天前 , 19F
b70看起來便宜，但滯銷代表還是貴
08/05 18:27, 19F
推
08/05 18:32, 3天前 , 20F
一般個人本地跑會選FP8的應該算少數吧，
08/05 18:32, 20F
→
08/05 18:32, 3天前 , 21F
選GGUF的Q4等級的應該比較多
08/05 18:32, 21F
推
08/05 18:44, 3天前 , 22F
3080 20g*2也不錯 40gb能跑的東西也不少
08/05 18:44, 22F
推
08/05 18:53, 3天前 , 23F
32G級別的就是看27b 35b這次qwen3.8
08/05 18:53, 23F
→
08/05 18:54, 3天前 , 24F
Q4量化"目前"的模型都是會大幅弱化
08/05 18:54, 24F
→
08/05 18:54, 3天前 , 25F
tool calling的能力 但這塊剛好是本
08/05 18:54, 25F
→
08/05 18:54, 3天前 , 26F
地化AI最重要的技能 反而不是知識和
08/05 18:54, 26F
→
08/05 18:54, 3天前 , 27F
長鏈推理
08/05 18:54, 27F
推
08/05 20:41, 3天前 , 28F
Q4量化tool calling能力是一坨，至少Q6
08/05 20:41, 28F
→
08/05 20:41, 3天前 , 29F
才勉強能用，Q8才能真正發揮9成5實力
08/05 20:41, 29F
推
08/05 21:34, 3天前 , 30F
可以改用混合架構? 像LM Studio新推出
08/05 21:34, 30F
→
08/05 21:34, 3天前 , 31F
的Bionic軟體搭配Q4的模型，呼叫工具
08/05 21:34, 31F
→
08/05 21:34, 3天前 , 32F
這種工作給Bionic透過Python去做即可
08/05 21:34, 32F
→
08/05 21:36, 3天前 , 33F
至少這邊看它做Word Excel PDF這種文件
08/05 21:36, 33F
→
08/05 21:36, 3天前 , 34F
讀取+思考分析+產製文檔結果還不算太差
08/05 21:36, 34F
推
08/05 21:38, 3天前 , 35F
Dense模型像Qwen 27B對Q4量化沒那麼敏感
08/05 21:38, 35F
→
08/05 21:39, 3天前 , 36F
真的有餘裕才往上看Q5 Q6 Q8可是VRAM高很
08/05 21:39, 36F
→
08/05 21:40, 3天前 , 37F
多。MoE模型像Qwen 35B-A3B用張6GB以上
08/05 21:40, 37F
推
08/05 21:41, 3天前 , 38F
謝謝
08/05 21:41, 38F
→
08/05 21:41, 3天前 , 39F
的顯卡都能跑到1x tg/s了，單張卡塞不進
08/05 21:41, 39F
→
08/05 21:42, 3天前 , 40F
27B的就35B-A3B或是Gemma4 12B/MoE玩玩就
08/05 21:42, 40F
→
08/05 21:43, 3天前 , 41F
好。不過MoE據社群說對量化程度比較敏感
08/05 21:43, 41F
→
08/05 21:44, 3天前 , 42F
RAM大一點，把VRAM塞不下的用--n-cpu-moe
08/05 21:44, 42F
→
08/05 21:44, 3天前 , 43F
往RAM丟就好了，跑Q6 Q8都有可能，pp tg
08/05 21:44, 43F
推
08/05 21:44, 3天前 , 44F
MoE在APEX量化 工具調用下滑比較少
08/05 21:44, 44F
→
08/05 21:45, 3天前 , 45F
也不會太差
08/05 21:45, 45F
→
08/05 21:48, 3天前 , 46F
其實色圖跟色影有板上的CUI大禮包在罩，用A
08/05 21:48, 46F
→
08/05 21:48, 3天前 , 47F
MD反而俗又大碗，真的要跑LLM刷CODE寫作業
08/05 21:48, 47F
→
08/05 21:48, 3天前 , 48F
，那還得推薦NV才行(16GB起跳)，蘇媽要扳回
08/05 21:48, 48F
→
08/05 21:48, 3天前 , 49F
一城等下一代看有沒有機會。
08/05 21:48, 49F
推
08/05 21:54, 3天前 , 50F
另外塞的資料如果沒有很肥，也能接受慢一截
08/05 21:54, 50F
→
08/05 21:54, 3天前 , 51F
的prefill速度(提示詞輸入後要等一下才反應
08/05 21:54, 51F
→
08/05 21:54, 3天前 , 52F
)，MoE可以幫忙省不少VRAM，
08/05 21:54, 52F
→
08/05 21:54, 3天前 , 53F
只要VRAM比換算完大小的AxxB大(但是MB RAM
08/05 21:54, 53F
→
08/05 21:54, 3天前 , 54F
要夠大，塞剩下的模型)，調整一下允許的上
08/05 21:54, 54F
→
08/05 21:54, 3天前 , 55F
下文長度後大多有 約10~2x T/S 的回應速度
08/05 21:54, 55F
→
08/05 21:54, 3天前 , 56F
，以個人小玩的程度來說堪用了
08/05 21:54, 56F
推
08/05 22:48, 3天前 , 57F
本地模型的話會建議直接蹲RTX Sparka嗎
08/05 22:48, 57F
推
08/05 23:00, 3天前 , 58F
之前7/24發的文用2張9060XT-16G跑27B
08/05 23:00, 58F
→
08/05 23:00, 3天前 , 59F
Dense模型，上下文開到128K，效能最差
08/05 23:00, 59F
→
08/05 23:00, 3天前 , 60F
的Ollama是13t/s，換LM Studio大概有
08/05 23:00, 60F
→
08/05 23:00, 3天前 , 61F
14~15t/s，作為AI文書助手來說尚可用
08/05 23:00, 61F
→
08/05 23:00, 3天前 , 62F
未來AMD卡能穩用Tensor Parallelism
08/05 23:00, 62F
→
08/05 23:00, 3天前 , 63F
的話應該會更快。
08/05 23:00, 63F
推
08/05 23:39, 3天前 , 64F
RTXspark 128G應該就是穩破20萬了
08/05 23:39, 64F
推
08/06 00:06, 3天前 , 65F
那麼哪裡買得到呢T_T。只能租雲端?
08/06 00:06, 65F
→
08/06 10:15, 2天前 , 66F
你是要講7900XTX還是9070XT？
08/06 10:15, 66F
推
08/06 10:37, 2天前 , 67F
如果有玩新的minimax h3 還是選50系顯卡
08/06 10:37, 67F
→
08/06 10:37, 2天前 , 68F
支援比較好 我拿3080 20g跑最小的608*3
08/06 10:37, 68F
→
08/06 10:37, 2天前 , 69F
52 5秒的影片速度約3-4分鐘完成 10秒約8
08/06 10:37, 69F
→
08/06 10:37, 2天前 , 70F
分鐘 3080有降功耗到80% 50系應該會更快
08/06 10:37, 70F
推
08/06 11:09, 2天前 , 71F
3080魔改套4090散熱器是只吃一個PCIEx16槽?
08/06 11:09, 71F
→
08/06 11:09, 2天前 , 72F
要不要支援通道拆分啊?
08/06 11:09, 72F
推
08/06 11:42, 2天前 , 73F
3080 魔改 本質還是3080只是記憶體加大
08/06 11:42, 73F
→
08/06 11:42, 2天前 , 74F
跟套用4090散熱器而已，因為中國市場太
08/06 11:42, 74F
→
08/06 11:42, 2天前 , 75F
多被挖走核心的4090的便宜剩料就拿來套
08/06 11:42, 75F
→
08/06 11:42, 2天前 , 76F
用
08/06 11:42, 76F
→
08/06 14:12, 2天前 , 77F
有能力買新品的話當然一定是50系比30系能
08/06 14:12, 77F
→
08/06 14:12, 2天前 , 78F
相容更多格式。但是不考慮風險包括售後的
08/06 14:12, 78F
→
08/06 14:12, 2天前 , 79F
話，3080魔改因為當年退下來的礦卡太多，
08/06 14:12, 79F
→
08/06 14:12, 2天前 , 80F
再生後即使是目前漲了還是有優勢
08/06 14:12, 80F
→
08/06 14:14, 2天前 , 81F
雙卡只要兩個×8，安裝難度就低很多了
08/06 14:14, 81F
推
08/06 14:41, 2天前 , 82F
3080單卡20G我有 只是以為有單張的雙3080
08/06 14:41, 82F
→
08/06 14:42, 2天前 , 83F
40G 只要一個PCIEx16插槽就好
08/06 14:42, 83F
推
08/06 16:00, 2天前 , 84F
單卡雙核心卡問題太多連原廠都不搞了，
08/06 16:00, 84F
→
08/06 16:00, 2天前 , 85F
用回收零件的山寨廠做這個debug會搞死自
08/06 16:00, 85F
→
08/06 16:00, 2天前 , 86F
己
08/06 16:00, 86F
→
08/06 18:42, 2天前 , 87F
單卡雙3080，沒降瓦數的話單卡應該會破600W
08/06 18:42, 87F
→
08/06 18:42, 2天前 , 88F
...，就算降到甜蜜點220W左右也要440W，還
08/06 18:42, 88F
→
08/06 18:42, 2天前 , 89F
是不要比較好
08/06 18:42, 89F
‣ 更多 lordmi 的文章
文章代碼(AID): #1gSma5oC (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lordmi 的文章
文章代碼(AID): #1gSma5oC (PC_Shopping)