Re: [菜單] 80K 超輕度AI+遊戲機 -本地佈署LLM的需求
※ 引述《lordmi (星宿喵)》之銘言：
: 最近看很多人想玩本地LLM，稍微聊一下10萬預算顯卡怎麼組比較好
: 前提條件先設在部署 FP8 格式、體積較大的 27B 級稠密模型。基本上真要有
: 生產力的模型都大於這個起跑線，低於這個規模先不談。
十萬玩LLM 答案很明顯就只有統一記憶體架構阿..
128GB 統一記憶體架構的miniPC 現在大概就是十萬多
FP8 > Vulcan api> llama cpp 直接可以硬幹200B左右的模型 雖然速度大概會想睡覺
但是這個範圍有新千問這種密度超高的好模型 高智商的
真的DIY靈魂爆發 爆改一下散熱
(雖然大部分瓦數被鎖死根本拉不上去 但是可以變安靜一點 還是有點樂趣的)
這都是今年LLM的標準答案了 可是這個版很少人玩 可以參考一下
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.118.209.229 (美國)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1785926625.A.D46.html
推
08/05 18:59,
1小時前
, 1F
08/05 18:59, 1F
→
08/05 19:25,
1小時前
, 2F
08/05 19:25, 2F
→
08/05 19:25,
1小時前
, 3F
08/05 19:25, 3F
→
08/05 19:26,
1小時前
, 4F
08/05 19:26, 4F
→
08/05 19:28,
1小時前
, 5F
08/05 19:28, 5F
→
08/05 19:29,
1小時前
, 6F
08/05 19:29, 6F
→
08/05 19:37,
1小時前
, 7F
08/05 19:37, 7F
→
08/05 19:37,
1小時前
, 8F
08/05 19:37, 8F
→
08/05 19:38,
1小時前
, 9F
08/05 19:38, 9F
討論串 (同標題文章)
完整討論串 (本文為第 2 之 2 篇)：
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章
