[請益] AMD395+跑AI到底合不合適呢

看板PC_Shopping (個人電腦購買)作者 (ccmail)時間3月前 (2025/08/13 18:07), 3月前編輯推噓29(30184)
留言115則, 36人參與, 3月前最新討論串1/1
看到AI大熱 本來想說買一張5060TI 16G 換掉3060TI(I5 11400 32G) 來當自以雲端AI伺服機,可是雖然5060TI 夠強 但記憶體就16G 似乎20B都不能跑 但感覺要長期開又很熱 之前對岸395 配128G 感覺又太多 本身能跑 但是跑不動 最近在看 又看到 极摩客极摩客EVO X2特價阿 64G版本 1T+2T 不用五萬 感覺好超值 突然覺得有CP值了 大概模型大小可以大個1.5~1.6倍 請問AMD 跑AI 有經驗的各位可以分享嗎 手好養阿 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.22.86 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1755079669.A.9F8.html

08/13 18:14, 3月前 , 1F
沒用過,是聽說GPU的DDR7速度比較快,這
08/13 18:14, 1F

08/13 18:14, 3月前 , 2F
種共用、統一記憶體的應該是DDR5?適合大
08/13 18:14, 2F

08/13 18:15, 3月前 , 3F
參數模型,但相對GPU計算速度是慢了點
08/13 18:15, 3F

08/13 18:18, 3月前 , 4F
395好像比較適合LLM
08/13 18:18, 4F

08/13 18:18, 3月前 , 5F
lpddr5x,大模型好,像之前gpt-oss-120b...
08/13 18:18, 5F

08/13 18:19, 3月前 , 6F
不過 gpt 扔出來體驗跟之前的不一樣...
08/13 18:19, 6F

08/13 18:19, 3月前 , 7F
不建議,395現在只有BETA驅動+平台
08/13 18:19, 7F

08/13 18:21, 3月前 , 8F
然後記憶頻寬不知道為何實測只有理論
08/13 18:21, 8F

08/13 18:21, 3月前 , 9F
的一半
08/13 18:21, 9F

08/13 18:33, 3月前 , 10F
395就是一個只有記憶體容量大的東西而已,3
08/13 18:33, 10F

08/13 18:33, 3月前 , 11F
85還比較均衡一點
08/13 18:33, 11F

08/13 18:35, 3月前 , 12F
一點都不超值,偏貴,但它是你目前除了Mac m
08/13 18:35, 12F

08/13 18:35, 3月前 , 13F
ini/studio外跑同時多個中小型或一個稍大一
08/13 18:35, 13F

08/13 18:35, 3月前 , 14F
點的MOE模型的選擇
08/13 18:35, 14F

08/13 18:36, 3月前 , 15F
LLM可以,跑圖影很勉強
08/13 18:36, 15F

08/13 18:36, 3月前 , 16F
我前面說過了395+只適合學校批量採購讓學
08/13 18:36, 16F

08/13 18:36, 3月前 , 17F
生做作業。什麼用途都能用,都不快,生產
08/13 18:36, 17F

08/13 18:36, 3月前 , 18F
力幾乎等於零。32+96有些模型進去會閃退
08/13 18:36, 18F

08/13 18:39, 3月前 , 19F
總之就是偏貴+頻寬不夠大,amd的原生roc支援
08/13 18:39, 19F

08/13 18:39, 3月前 , 20F
跟垃圾一樣,就賣你一個amd之後修好roc問題
08/13 18:39, 20F

08/13 18:39, 3月前 , 21F
後可能會變快的夢想
08/13 18:39, 21F

08/13 18:58, 3月前 , 22F
應該跑得比5090 swap還慢
08/13 18:58, 22F

08/13 19:03, 3月前 , 23F
這種的不就是串聯很多台丟冷氣房架伺服器
08/13 19:03, 23F

08/13 19:04, 3月前 , 24F
用的嗎 熱量低效能高就像hp的G1a系列
08/13 19:04, 24F

08/13 19:08, 3月前 , 25F
學校批量採購 你也太看好學校了
08/13 19:08, 25F

08/13 19:10, 3月前 , 26F
都馬是台銀共約點一點 到現在標準還是8g
08/13 19:10, 26F

08/13 19:10, 3月前 , 27F
ram的套裝機
08/13 19:10, 27F

08/13 19:10, 3月前 , 28F
這種東西量少 更不可能大量採購
08/13 19:10, 28F

08/13 19:11, 3月前 , 29F
頻寬太低是硬傷
08/13 19:11, 29F

08/13 19:12, 3月前 , 30F
多台跑一般server服務不會用到這個,llm要頻
08/13 19:12, 30F

08/13 19:12, 3月前 , 31F
寬,多台效能1+1=0.5
08/13 19:12, 31F

08/13 19:26, 3月前 , 32F
學校跑這個不如學AppleMLX
08/13 19:26, 32F

08/13 19:36, 3月前 , 33F
除非需要用到大顯存(超大模型或是同時跑數
08/13 19:36, 33F

08/13 19:36, 3月前 , 34F
個模型)要不然不建議395
08/13 19:36, 34F

08/13 19:46, 3月前 , 35F
沒錢的話也沒什麼好選的
08/13 19:46, 35F

08/13 19:47, 3月前 , 36F
小小一台還蠻方便的,不過軟體還是不行
08/13 19:47, 36F

08/13 19:47, 3月前 , 37F
08/13 19:47, 37F

08/13 19:57, 3月前 , 38F

08/13 19:57, 3月前 , 39F
零刻也出了一台
08/13 19:57, 39F
還有 36 則推文
還有 1 段內文
08/14 00:24, 3月前 , 76F
我很想買但好像用不到 定位真的很神奇
08/14 00:24, 76F

08/14 00:25, 3月前 , 77F
想試可以先找370HX+64G的裝置借來玩玩看
08/14 00:25, 77F

08/14 00:26, 3月前 , 78F
看看符不符合你想玩的念頭(實用性就算了吧)
08/14 00:26, 78F

08/14 00:50, 3月前 , 79F
要跑就直接128G吧 能跑oss120b
08/14 00:50, 79F

08/14 00:54, 3月前 , 80F
這東西就除非你有很強的除錯能力 再加上要
08/14 00:54, 80F

08/14 00:54, 3月前 , 81F
很強的找解決方案的能力 知道怎麼用那些
08/14 00:54, 81F

08/14 00:54, 3月前 , 82F
社群去問 不然就多花點錢去買N卡就好
08/14 00:54, 82F

08/14 00:54, 3月前 , 83F
不用這樣搞自己
08/14 00:54, 83F

08/14 00:56, 3月前 , 84F
真的要有實用性 也是等個幾年之後 高手搞出
08/14 00:56, 84F

08/14 00:56, 3月前 , 85F
個懶人方案 可以動手指點點就用再說
08/14 00:56, 85F

08/14 01:29, 3月前 , 86F

08/14 08:56, 3月前 , 87F
看比較下來就是NPU都在偷懶XD
08/14 08:56, 87F

08/14 09:07, 3月前 , 88F
有錢富哥的玩具
08/14 09:07, 88F

08/14 10:42, 3月前 , 89F
想便宜入手又不需要發票的,洋垃圾和雙路
08/14 10:42, 89F

08/14 10:43, 3月前 , 90F
X99再收幾張3080礦卡能做更多事,有財力有
08/14 10:43, 90F

08/14 10:43, 3月前 , 91F
機櫃的直接買正經伺服器,要開發環境完整
08/14 10:43, 91F

08/14 10:44, 3月前 , 92F
就macstudio 消去這些市場之後,395也就
08/14 10:44, 92F

08/14 10:45, 3月前 , 93F
只能讓預算上不去又要發票還沒有機櫃只有
08/14 10:45, 93F

08/14 10:45, 3月前 , 94F
時間太多的學校採購了,不然誰會買這個
08/14 10:45, 94F

08/14 10:48, 3月前 , 95F
就自用的玩具 不缺錢可以入手當白老鼠
08/14 10:48, 95F

08/14 10:48, 3月前 , 96F
本地模型頂多裝Q2Q3量化幻覺多而且還慢
08/14 10:48, 96F

08/14 10:50, 3月前 , 97F
現在AI只能從NPU CPU GPU選一個調度
08/14 10:50, 97F

08/14 10:50, 3月前 , 98F
所以叫GPU做事NPU就會擺爛
08/14 10:50, 98F

08/14 11:26, 3月前 , 99F
沒錢又需要大VRAM就選這個阿,Linux
08/14 11:26, 99F

08/14 11:26, 3月前 , 100F
不就是這樣走來的
08/14 11:26, 100F

08/14 11:48, 3月前 , 101F
5060Ti 16G選華碩DUAL技嘉WF這種陽春卡
08/14 11:48, 101F

08/14 11:48, 3月前 , 102F
不貴吧 再次也還有PNY 4060Ti 16G可以拿
08/14 11:48, 102F

08/14 11:48, 3月前 , 103F
N卡貴不是沒道理 CUDA人人都說好用
08/14 11:48, 103F

08/14 12:07, 3月前 , 104F
答應我,沒錢不要玩AI
08/14 12:07, 104F

08/14 12:21, 3月前 , 105F
共享記憶體是它優勢,應該直上128G吧?
08/14 12:21, 105F

08/14 16:18, 3月前 , 106F
共享記憶體(X)超大顯示記憶體(O)
08/14 16:18, 106F

08/14 16:47, 3月前 , 107F
等5070TiS 24GB或是5080S 24GB來降頻降壓跑
08/14 16:47, 107F

08/14 19:53, 3月前 , 108F
看你跑什麼 生圖不必 大語言大模型比較聰
08/14 19:53, 108F

08/14 19:53, 3月前 , 109F
明 但還是有點慢要等
08/14 19:53, 109F

08/15 05:19, 3月前 , 110F
要生產力就是n卡 大vram 別找自己
08/15 05:19, 110F

08/15 05:19, 3月前 , 111F
麻煩
08/15 05:19, 111F

08/16 15:29, 3月前 , 112F
ROCm 7.0 可以期待一下
08/16 15:29, 112F

08/16 15:30, 3月前 , 113F
各家大廠已經買了MI系列的硬體了,軟
08/16 15:30, 113F

08/16 15:30, 3月前 , 114F
體自然會跟上
08/16 15:30, 114F

08/16 15:30, 3月前 , 115F
不然等著被客戶罵翻
08/16 15:30, 115F
文章代碼(AID): #1ed6Frdu (PC_Shopping)
文章代碼(AID): #1ed6Frdu (PC_Shopping)