Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求
※ 引述《doasgloria (青柳立夏)》之銘言:
: 已買/未買/已付訂金(元): 未買(預計在日本購買)
: 預算/用途:80K (約40萬日幣)
: 主要希望可以跑一些極輕度LLM LORA練習(3B 7B量化模型)
最近看很多人想玩本地LLM,稍微聊一下10萬預算顯卡怎麼組比較好
前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有
生產力的模型都大於這個起跑線,低於這個規模先不談。
無腦買5090一張就超過10萬了,然後也不能放進去,得買兩張
如果是搞色圖或色影,那還是NVIDIA 吧
便宜的綠廠垃圾佬方案是3080魔改套4090散熱器兩張共40GB,目前中國價格含券似乎
在3500一張上下。不過只保一年而且是中國國內
如果限定到台灣,可買到新品是:
比較正常(?)的方案,四張單槽 RTX5060Ti/16GB。中國那邊有人測試
四卡系統待機功耗低於 100W,滿載低於 600W;滿載時風扇約 40%~50%,GPU
溫度不到60C。
如果你是紅廠信徒,只想戰未來。替代方案:兩張 AMD R9700 32GB,合計64GB。
雙卡成本約10萬元。與4張16GB相比,雙卡架構在物理安裝、供電、線材、故障點
與系統管理方面都更簡單
如果不重視CUDA生態對作圖作影片的優勢,R9700處理事務跟Coding還是可取的。
大概就是這樣,反正你不買我不買明天貴5000,要用就買吧
--
弟子「先生、処女を貴重だと思う男は多いです?」 孔明「..その通りだ 」
弟子「しかし逆に童貞は女に気持ち悪がられます? 」孔明「....確かに 」
弟子「おかしいじゃないですか、何故このような意識の違いが生まれるのですか 」
孔明「それは一度も侵入を許していない砦は頼もしく
一度も侵入に成功しない兵士は頼りないからだ! 」
原出:「孔明の罠だ!」(民明書房新刊)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.229.90.181 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1785923845.A.C8C.html
推
08/05 18:05,
1小時前
, 1F
08/05 18:05, 1F
→
08/05 18:05,
1小時前
, 2F
08/05 18:05, 2F
→
08/05 18:06,
1小時前
, 3F
08/05 18:06, 3F
推
08/05 18:11,
1小時前
, 4F
08/05 18:11, 4F
推
08/05 18:17,
1小時前
, 5F
08/05 18:17, 5F
→
08/05 18:17,
1小時前
, 6F
08/05 18:17, 6F
→
08/05 18:18,
1小時前
, 7F
08/05 18:18, 7F
→
08/05 18:18,
1小時前
, 8F
08/05 18:18, 8F
推
08/05 18:18,
1小時前
, 9F
08/05 18:18, 9F
推
08/05 18:20,
1小時前
, 10F
08/05 18:20, 10F
→
08/05 18:20,
1小時前
, 11F
08/05 18:20, 11F
推
08/05 18:20,
1小時前
, 12F
08/05 18:20, 12F
→
08/05 18:20,
1小時前
, 13F
08/05 18:20, 13F
→
08/05 18:20,
1小時前
, 14F
08/05 18:20, 14F
→
08/05 18:21,
1小時前
, 15F
08/05 18:21, 15F
→
08/05 18:21,
1小時前
, 16F
08/05 18:21, 16F
→
08/05 18:22,
1小時前
, 17F
08/05 18:22, 17F
推
08/05 18:25,
1小時前
, 18F
08/05 18:25, 18F
推
08/05 18:27,
1小時前
, 19F
08/05 18:27, 19F
推
08/05 18:32,
1小時前
, 20F
08/05 18:32, 20F
→
08/05 18:32,
1小時前
, 21F
08/05 18:32, 21F
討論串 (同標題文章)
完整討論串 (本文為第 1 之 2 篇):
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章