PTT數位生活區 / PC_Shopping (個人電腦購買)

Re: [菜單] 10K以內AI機

看板PC_Shopping (個人電腦購買)作者 (母體)時間7小時前 (2025/07/20 10:28), 編輯推噓5(5推 0噓 6→)
留言11則, 5人參與, 4小時前最新討論串3/3 (看更多)
※ 引述《museangel (敲敲)》之銘言： : https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with : _qwen3_so_far/ : 我看到reddit的上面這篇文，想借這串原文問個問題， : 這幾天開源的llm qwen3-235b-a22b， : 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？ : 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒 : 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。 : 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的 : 跑法有沒有什麼地雷？ https://www.youtube.com/watch?v=1N6a46QqdhI
斯波圖最新影片有測試過了，用的是AMD AI MAX+ 395 的小型桌面機 相當的不錯，等於是建構了一個本地AI，有著無限TOKEN。 他把QWEN3的80G模型直接丟給主機的NPU+RAM去跑 全本地的運算 也不影響日常的工作，還能夠分派多重腳色給AI去幫忙執行計畫 https://www.gmktec.cn/product/5656/ 最高可以運算96G的模型，主機最高125G 有著約90%左右的9950X性能 價格就超出預算，14999RMB，包含128G+2T SSD，比一張5090便宜就是。 https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有類似的產品 這台便宜些。 感覺工作上有大量需求+建構本地AI 需要隱私不連網的 這個應該是目前不買老黃顯卡的最優解了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.35.19 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1752978492.A.D95.html
推
07/20 11:04, 7小時前 , 1F
14999還好，這是整台主機的價格 XD
07/20 11:04, 1F
推
07/20 11:15, 7小時前 , 2F
395發售之後這種設計很多，可以多比價。
07/20 11:15, 2F
→
07/20 11:15, 7小時前 , 3F
前面有一篇半DIY花費就壓在12k rmb。不過
07/20 11:15, 3F
→
07/20 11:15, 7小時前 , 4F
老實說，395套裝適合玩玩或者學校採購，
07/20 11:15, 4F
→
07/20 11:15, 7小時前 , 5F
到商用場景還是不上不下有很多限制
07/20 11:15, 5F
推
07/20 11:23, 7小時前 , 6F
要商用當然很難XD
07/20 11:23, 6F
推
07/20 11:49, 6小時前 , 7F
不是「80G」模型，是「80億（8b)」，但
07/20 11:49, 7F
→
07/20 11:49, 6小時前 , 8F
是說真的8b模型拿來聊天、總結文章還算
07/20 11:49, 8F
→
07/20 11:49, 6小時前 , 9F
堪用，真的不能期待更多了
07/20 11:49, 9F
→
07/20 12:04, 6小時前 , 10F
不是8B吧? 8B還吃不到20GB
07/20 12:04, 10F
推
07/20 13:28, 4小時前 , 11F
無限token 是三小
07/20 13:28, 11F
‣ 更多 iammatrix 的文章
文章代碼(AID): #1eV5GysL (PC_Shopping)
討論串 (同標題文章)
完整討論串 (本文為第 3 之 3 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共3篇)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 iammatrix 的文章
文章代碼(AID): #1eV5GysL (PC_Shopping)