討論串[菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求
共 2 篇文章
首頁
上一頁
1
下一頁
尾頁

推噓1(1推 0噓 8→)留言9則,0人參與, 1小時前最新作者bhmagic (BH)時間1小時前 (2026/08/05 18:43), 編輯資訊
0
0
0
內容預覽:
十萬玩LLM 答案很明顯就只有統一記憶體架構阿... 128GB 統一記憶體架構的miniPC 現在大概就是十萬多. FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺. 但是這個範圍有新千問這種密度超高的好模型 高智商的. 真的DIY靈魂爆
(還有50個字)

推噓11(11推 0噓 16→)留言27則,0人參與, 1小時前最新作者lordmi (星宿喵)時間2小時前 (2026/08/05 17:57), 編輯資訊
0
0
0
內容預覽:
最近看很多人想玩本地LLM,稍微聊一下10萬預算顯卡怎麼組比較好. 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有. 生產力的模型都大於這個起跑線,低於這個規模先不談。. 無腦買5090一張就超過10萬了,然後也不能放進去,得買兩張. 如果是搞色圖或色影,那還是NVI
(還有567個字)
首頁
上一頁
1
下一頁
尾頁