PTT數位生活區 / PC_Shopping (個人電腦購買)

Re: [菜單] 10K以內AI機

看板PC_Shopping (個人電腦購買)作者 (敲敲)時間5小時前 (2025/05/04 14:58), 編輯推噓3(3推 0噓 18→)
留言21則, 5人參與, 3小時前最新討論串2/2 (看更多)
https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with _qwen3_so_far/ 我看到reddit的上面這篇文，想借這串原文問個問題， 這幾天開源的llm qwen3-235b-a22b， 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？ 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的 跑法有沒有什麼地雷？ ※ 引述《steven007 (小乃)》之銘言 : 已買/未買/已付訂金（元）： : 預算/用途：10K以內AI機 : CPU (中央處理器)：AMD R7 9700X : MB (主機板)：技嘉 B650M DS3H : RAM (記憶體)：XPG Lancer D5 6000 16x2 RGB 黑 : VGA (顯示卡)：技嘉RTX5080 WF SFF O16G : Cooler (散熱器)：Cyber CS6 TUBER ARGB 塔散 黑 : SSD (固態硬碟)：XPG S70 2TB Gen4X4 PCIe SSD : HDD (硬碟)： : PSU (電源供應器)：曜越TOUGHPOWER GF3 1000W 金牌 : CHASSIS (機殼)：ASUS Prime AP201 MicroATX白 : MONITOR (螢幕)：沿用 : Mouse/KB (鼠鍵)： : OS (作業系統)：W11 DIY專業版 : 其它 (自填)： : 總價 (未稅/含稅)：87000 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.139.209.176 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1746341904.A.D9A.html
→
05/04 14:59, 5小時前 , 1F
MoE模型的確有這種優勢
05/04 14:59, 1F
推
05/04 15:28, 4小時前 , 2F
可以跑啊，只是速度你要能接受
05/04 15:28, 2F
→
05/04 15:29, 4小時前 , 3F
我拿4060ti 16G跑32B的模型就覺得慢死
05/04 15:29, 3F
→
05/04 15:29, 4小時前 , 4F
了
05/04 15:29, 4F
→
05/04 15:30, 4小時前 , 5F
跑235B的我看跑一個問題可能要10分鐘
05/04 15:30, 5F
→
05/04 15:30, 4小時前 , 6F
以上甚至無法回應
05/04 15:30, 6F
→
05/04 15:31, 4小時前 , 7F
直接LMstudio或Ollama就能試了吧 我用HX370
05/04 15:31, 7F
→
05/04 15:32, 4小時前 , 8F
跑DS或任何大於32B的模型 大概個位數token/s
05/04 15:32, 8F
→
05/04 15:33, 4小時前 , 9F
能取代GPU老黃就不會這樣躺著賣了
05/04 15:33, 9F
→
05/04 16:06, 4小時前 , 10F
看一看reddit別人的好像大概有12~16tp
05/04 16:06, 10F
→
05/04 16:06, 4小時前 , 11F
s，感覺還行
05/04 16:06, 11F
推
05/04 16:16, 4小時前 , 12F
跑太久無法回應要想想是不是模型檔案
05/04 16:16, 12F
→
05/04 16:18, 4小時前 , 13F
有Quality問題?看是原生就有或量化後?
05/04 16:18, 13F
→
05/04 16:21, 4小時前 , 14F
可能和指令集有關 換個格式有時天差地
05/04 16:21, 14F
推
05/04 16:30, 3小時前 , 15F
235b有點勉強，30b真的很快
05/04 16:30, 15F
→
05/04 16:36, 3小時前 , 16F
試了一下，128G不夠，256可以，速度
05/04 16:36, 16F
→
05/04 16:36, 3小時前 , 17F
只有個位數，但勉強可用
05/04 16:36, 17F
→
05/04 16:37, 3小時前 , 18F
235b需要150G左右的記憶體
05/04 16:37, 18F
→
05/04 16:37, 3小時前 , 19F
/no_think速度應該可以更快一點
05/04 16:37, 19F
→
05/04 16:38, 3小時前 , 20F
qwen3最厲害的是可以即時切換think/
05/04 16:38, 20F
→
05/04 16:38, 3小時前 , 21F
no_think，很方便
05/04 16:38, 21F
‣ 更多 museangel 的文章
文章代碼(AID): #1e5n0GsQ (PC_Shopping)
討論串 (同標題文章)
本文引述了以下文章的的內容：
17
48
[菜單] 10K以內AI機
steven007
12小時前, 05/04
完整討論串 (本文為第 2 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
17
48
[菜單] 10K以內AI機
steven007
12小時前, 05/04
在新視窗開啟完整討論串 (共2篇)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 museangel 的文章
文章代碼(AID): #1e5n0GsQ (PC_Shopping)