[請益] 兩個改裝方案跑本地LLM請賜教
先說我的配備
CPU AMD RYZEN 9950
主板 ASUS CROSSHAIR X870E HERO
RAM Kingston furry beast ddr5 5600
32g x2
crucial pro ddr5 6000 32g x2
共128g
ssd 美光 T500 2tb
顯示卡 GIGABYTE GAMING OC 5090
GIGABYTE 4070TIS 16G
共48G VRAM
兩台螢幕用舊的不算錢
跑 GPT_OSS 120B 慢但可接受
QWEN 30B_A3B慢可接受
Deepseek 70b 更慢比gpt-oss 120b 稍快
這塊主板最高記憶體只能加到192gb，
現在128，
vram 現在48gb
因為LLM架在ollama下所以在VRAM不夠時例如在跑OSS 120B模型它會自己調用主機記憶體，速度有變慢，尤其是High thinking模式時，但是這塊板子只能插兩張顯示卡，，如果要順跑120B高思考模式，是換主板再加一張16g或32g顯示卡變成插三張卡或是換掉16g顯示卡改插rtx pro 6000前者是不是C/P值比較高？
後者成本太高，會不會兩個方案跑起來差不多？
-----
Sent from JPTT on my Samsung SM-S7110.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.98.194 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1770777269.A.022.html
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章