PTT數位生活區 / PC_Shopping (個人電腦購買)

[請益] 有人用Mac Studio跑AI大型模型了嗎

看板PC_Shopping (個人電腦購買)作者 (Must Be Something)時間3小時前 (2025/04/24 14:53), 3小時前編輯推噓16(16推 0噓 34→)
留言50則, 20人參與, 34分鐘前最新討論串1/1
最近看到要塞大模型的話要很多顯卡記憶體 還要設定串聯有的沒的 最近Mac Studio有出了512記憶體的版本 好像甚麼模型都快塞得進去了 跑起來如何呢 感覺慢一點沒關係 但至少精度會比較好對吧 有高手可以指點一下嗎 在想說要買MAC跑還是用顯卡的方式來跑 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.176.121 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1745477620.A.0D9.html ※ 編輯: QMO220 (42.79.176.121 臺灣), 04/24/2025 14:54:38
推
04/24 14:55, 3小時前 , 1F
跑模型沒問題 問題是沒錢
04/24 14:55, 1F
推
04/24 14:55, 3小時前 , 2F
看需求 有更便宜方 直接說結論 使用API方便
04/24 14:55, 2F
→
04/24 14:56, 3小時前 , 3F
養一頭牛喝一瓶鮮奶太浪費
04/24 14:56, 3F
推
04/24 15:06, 3小時前 , 4F
除非真的有什麼敏感資料，不然還是付費用AP
04/24 15:06, 4F
→
04/24 15:06, 3小時前 , 5F
I比較實用。
04/24 15:06, 5F
→
04/24 15:06, 3小時前 , 6F
加上Mac Studio的記憶體頻寬還是太差，性
04/24 15:06, 6F
→
04/24 15:06, 3小時前 , 7F
能很難媲美目前主流平台的速度。
04/24 15:06, 7F
→
04/24 15:09, 3小時前 , 8F
如果只選這兩種方案當然是買顯卡啊
04/24 15:09, 8F
→
04/24 15:10, 3小時前 , 9F
最終都是看哪個社群比較強大
04/24 15:10, 9F
→
04/24 15:14, 3小時前 , 10F
會跑超慢吧，但至少是能跑
04/24 15:14, 10F
→
04/24 15:22, 3小時前 , 11F
之前有MacbookProM4跟雷蛇旗艦對幹的片是贏
04/24 15:22, 11F
→
04/24 15:22, 3小時前 , 12F
Studio的可以找或等看看有沒有review
04/24 15:22, 12F
→
04/24 15:26, 3小時前 , 13F
能接受的定義是？ 一秒鐘回一個字還是10分
04/24 15:26, 13F
→
04/24 15:27, 3小時前 , 14F
鐘回一個字？
04/24 15:27, 14F
推
04/24 15:28, 3小時前 , 15F
直接買API就好了 在MAC上跑就是玩興趣的 誰
04/24 15:28, 15F
→
04/24 15:29, 3小時前 , 16F
真的工作用本機跑啊.......
04/24 15:29, 16F
→
04/24 15:29, 3小時前 , 17F
起碼個人或一般商家不需要考慮這種事情吧
04/24 15:29, 17F
→
04/24 15:34, 2小時前 , 18F
比32gb顯卡好多了
04/24 15:34, 18F
推
04/24 15:35, 2小時前 , 19F
04/24 15:35, 19F
→
04/24 15:43, 2小時前 , 20F
目前看到速度大概是18.87t/s 這個成本跑
04/24 15:43, 20F
→
04/24 15:44, 2小時前 , 21F
deepseek-r1:671b(4bit MLX)我只能說有錢
04/24 15:44, 21F
→
04/24 15:44, 2小時前 , 22F
可以捐公益剩下的買api就好
04/24 15:44, 22F
推
04/24 15:46, 2小時前 , 23F
自己訓練模型才需要
04/24 15:46, 23F
→
04/24 15:46, 2小時前 , 24F
如果沒要訓練，API便宜很多
04/24 15:46, 24F
推
04/24 15:55, 2小時前 , 25F
只能說土豪
04/24 15:55, 25F
→
04/24 16:01, 2小時前 , 26F
另外提醒，加到512實作上仍不可能放進一個
04/24 16:01, 26F
→
04/24 16:02, 2小時前 , 27F
滿血的ds，還是老老實實買H200陣列吧
04/24 16:02, 27F
→
04/24 16:05, 2小時前 , 28F
這個版,只要問就是回答買新的
04/24 16:05, 28F
推
04/24 16:07, 2小時前 , 29F
04/24 16:07, 29F
→
04/24 16:09, 2小時前 , 30F
30B左右的模型還OK 再上去速度不快RAM
04/24 16:09, 30F
→
04/24 16:09, 2小時前 , 31F
也用很凶很花錢
04/24 16:09, 31F
推
04/24 16:10, 2小時前 , 32F
蘋果除了記憶體大之外，跑訓練非常慢
04/24 16:10, 32F
→
04/24 16:10, 2小時前 , 33F
，推論也輸同價格的老黃，不建議為了A
04/24 16:10, 33F
→
04/24 16:10, 2小時前 , 34F
I買蘋果
04/24 16:10, 34F
推
04/24 16:13, 2小時前 , 35F
6000 ada現在已經非常好入手了
04/24 16:13, 35F
推
04/24 16:20, 2小時前 , 36F
買來配Ollama跑跑量化模型除了慢了點
04/24 16:20, 36F
→
04/24 16:20, 2小時前 , 37F
外沒啥問題 訓練就不用想了
04/24 16:20, 37F
→
04/24 16:21, 2小時前 , 38F
同樣70b量化 mac的建置成本就是比買
04/24 16:21, 38F
→
04/24 16:21, 2小時前 , 39F
卡便宜和省電 但就是推論慢 只適合實
04/24 16:21, 39F
→
04/24 16:21, 2小時前 , 40F
驗用
04/24 16:21, 40F
推
04/24 16:27, 2小時前 , 41F
買 API 用就好，經濟實惠
04/24 16:27, 41F
推
04/24 16:52, 1小時前 , 42F
買5090沒錢，換mac studio依樣也是沒錢
04/24 16:52, 42F
推
04/24 16:53, 1小時前 , 43F
要跑參數稍微大的模型 單張5090還不夠
04/24 16:53, 43F
→
04/24 16:53, 1小時前 , 44F
勒
04/24 16:53, 44F
推
04/24 17:47, 42分鐘前 , 45F
不過我覺得m3u跑本地小模型其實也還行，
04/24 17:47, 45F
→
04/24 17:47, 42分鐘前 , 46F
總比用洋垃圾搭湊出一台又吵又熱的機器好
04/24 17:47, 46F
→
04/24 17:47, 42分鐘前 , 47F
。然後平常還可以跑跑生產力什麼的
04/24 17:47, 47F
推
04/24 17:52, 37分鐘前 , 48F
高效的UMA只解決了quantity問題但是
04/24 17:52, 48F
→
04/24 17:53, 36分鐘前 , 49F
quality問題也只贏過獨立顯卡目前看來
04/24 17:53, 49F
→
04/24 17:55, 34分鐘前 , 50F
TPU的潛力很大不然量子電腦量產還很久
04/24 17:55, 50F
‣ 更多 QMO220 的文章
文章代碼(AID): #1e2T_q3P (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 QMO220 的文章
文章代碼(AID): #1e2T_q3P (PC_Shopping)