PTT數位生活區 / PC_Shopping (個人電腦購買)

[請益] LLM 顯卡選擇

看板PC_Shopping (個人電腦購買)作者 (Karma)時間22小時前 (2025/06/10 17:39), 編輯推噓24(24推 0噓 49→)
留言73則, 28人參與, 15小時前最新討論串1/1
目前新電腦是 5060ti 16G 打遊戲用 舊電腦(閒置)是 CPU intel 9900T RAM 64G VGA 3060 12G 想說閒置中 要考慮跑 AI 的話 請問再補一張 3060 12G (共兩張) 會比 5060ti 16G 強嗎 (主要是看能放得下多大的 model) 不會的話就... 考慮新電腦灌雙系統 會的話可能就閒置的電腦再補一張 3060 12G 來跑 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.68.41 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1749548380.A.611.html
推
06/10 17:45, 22小時前 , 1F
啟動5090
06/10 17:45, 1F
→
06/10 17:46, 22小時前 , 2F
12g塞不了甚麼模型
06/10 17:46, 2F
→
06/10 17:48, 22小時前 , 3F
想問雙卡有沒有搞頭...
06/10 17:48, 3F
→
06/10 17:49, 22小時前 , 4F
不然不如等 DGX SPARK
06/10 17:49, 4F
→
06/10 17:50, 22小時前 , 5F
強在一點，模型16G塞不下去時，不然
06/10 17:50, 5F
→
06/10 17:51, 22小時前 , 6F
都輸
06/10 17:51, 6F
→
06/10 17:52, 22小時前 , 7F
另外多卡SD生圖還是分別算圖，所以
06/10 17:52, 7F
→
06/10 17:52, 22小時前 , 8F
只生一張圖的時候多卡跟單卡一樣
06/10 17:52, 8F
推
06/10 17:53, 22小時前 , 9F
雙卡沒搞頭 沒辦法pool memory
06/10 17:53, 9F
→
06/10 17:54, 22小時前 , 10F
賣掉貼補新卡吧
06/10 17:54, 10F
推
06/10 17:56, 21小時前 , 11F
用過w11+ubuntu 雙系統超難用
06/10 17:56, 11F
→
06/10 17:56, 21小時前 , 12F
最後直接純ubuntu 開虛擬機windows了
06/10 17:56, 12F
→
06/10 17:56, 21小時前 , 13F
另外主板兩個pcie*16都CPU跑*8跟一
06/10 17:56, 13F
→
06/10 17:56, 21小時前 , 14F
重開機換系統的時候grub會一直卡住
06/10 17:56, 14F
→
06/10 17:56, 21小時前 , 15F
個cpu直出跑16+南橋的pcie，跑起來
06/10 17:56, 15F
→
06/10 17:57, 21小時前 , 16F
反應時間不一樣，後者不推
06/10 17:57, 16F
推
06/10 18:04, 21小時前 , 17F
可以用Glows.ai 直接線上跑
06/10 18:04, 17F
推
06/10 18:11, 21小時前 , 18F
第三季英特爾好像要出b60
06/10 18:11, 18F
→
06/10 18:12, 21小時前 , 19F
單卡記憶24g然後400多鎂
06/10 18:12, 19F
推
06/10 18:14, 21小時前 , 20F
雙卡又沒nvlink…..直接用雲服務可
06/10 18:14, 20F
→
06/10 18:14, 21小時前 , 21F
能比較省事，不然要模型塞得進單卡
06/10 18:14, 21F
→
06/10 18:14, 21小時前 , 22F
vram（好點的顯卡或小模型）還是用
06/10 18:14, 22F
→
06/10 18:14, 21小時前 , 23F
ram/vram共用架構（project digit
06/10 18:14, 23F
→
06/10 18:14, 21小時前 , 24F
或apple silicone)，或aidaptive +
06/10 18:14, 24F
→
06/10 18:14, 21小時前 , 25F
。
06/10 18:14, 25F
→
06/10 18:18, 21小時前 , 26F
AI MAX 395迷你電腦大概14k RMB ，vram能到
06/10 18:18, 26F
→
06/10 18:18, 21小時前 , 27F
96 GB，可以先去B站看一下優缺點分析
06/10 18:18, 27F
→
06/10 18:18, 21小時前 , 28F
dgx spark在開預購單了
06/10 18:18, 28F
→
06/10 18:24, 21小時前 , 29F
了解 來研究看看。不過 DGX台灣好像還沒看
06/10 18:24, 29F
→
06/10 18:24, 21小時前 , 30F
到預購消息...
06/10 18:24, 30F
→
06/10 18:24, 21小時前 , 31F
雙系統中的不如開虛擬機，除非你要玩valo
06/10 18:24, 31F
→
06/10 18:24, 21小時前 , 32F
rant，這遊戲不能在虛擬機裡玩
06/10 18:24, 32F
→
06/10 18:26, 21小時前 , 33F
說到雙系統 我之前的確是用 ubuntu + win
06/10 18:26, 33F
→
06/10 18:26, 21小時前 , 34F
VM XD...
06/10 18:26, 34F
→
06/10 18:27, 21小時前 , 35F
AI MAX或 Mac mini黃金RAM升滿
06/10 18:27, 35F
→
06/10 18:28, 21小時前 , 36F
看起來好像真的是統一記憶體最有 cp 值
06/10 18:28, 36F
推
06/10 18:39, 21小時前 , 37F
統一記憶體 優:裝得下 缺:處理器慢
06/10 18:39, 37F
→
06/10 18:42, 21小時前 , 38F
所以也沒有CP值 要是內顯+記憶體灌滿
06/10 18:42, 38F
→
06/10 18:42, 21小時前 , 39F
就能打獨顯了 RTX6000還要賣嗎
06/10 18:42, 39F
推
06/10 18:49, 21小時前 , 40F
唯一選擇RTX PRO 6000
06/10 18:49, 40F
→
06/10 18:49, 21小時前 , 41F
06/10 18:49, 41F
→
06/10 18:55, 20小時前 , 42F
雙卡會比單卡慢一點喔 跟模型大小、pci
06/10 18:55, 42F
→
06/10 18:55, 20小時前 , 43F
e通道數、最慢顯卡拖後腿都有關係
06/10 18:55, 43F
推
06/10 19:03, 20小時前 , 44F
你不如......先跑，跑了就知道缺哪
06/10 19:03, 44F
→
06/10 19:03, 20小時前 , 45F
補哪
06/10 19:03, 45F
→
06/10 19:12, 20小時前 , 46F
不划算，新顯卡花的錢改用在api上都不知道可
06/10 19:12, 46F
→
06/10 19:12, 20小時前 , 47F
以用幾年了，可用的模型還強的多
06/10 19:12, 47F
推
06/10 19:26, 20小時前 , 48F
請教跑本地LLM有什麼好處
06/10 19:26, 48F
推
06/10 19:27, 20小時前 , 49F
隱私
06/10 19:27, 49F
推
06/10 19:28, 20小時前 , 50F
Pro 6000現在跟我講要排到8月9月
06/10 19:28, 50F
推
06/10 19:30, 20小時前 , 51F
那還不如租h200 一小時2美金
06/10 19:30, 51F
推
06/10 19:43, 20小時前 , 52F
只跑LLM不如直接open router儲值
06/10 19:43, 52F
推
06/10 20:00, 19小時前 , 53F
可以往阿婆那邊買M3 Ultra或者便宜
06/10 20:00, 53F
→
06/10 20:00, 19小時前 , 54F
的M4 24GB
06/10 20:00, 54F
推
06/10 20:08, 19小時前 , 55F
Spark台灣有開放npn排 有需要的可站內
06/10 20:08, 55F
→
06/10 20:08, 19小時前 , 56F
Rtx pro 6000也可站內
06/10 20:08, 56F
→
06/10 20:10, 19小時前 , 57F
但一般人其實用mac 或ryzen AI比較划
06/10 20:10, 57F
推
06/10 20:54, 19小時前 , 58F
我串api比電費便宜，nano還比本地反應快
06/10 20:54, 58F
→
06/10 20:54, 19小時前 , 59F
，尷尬
06/10 20:54, 59F
推
06/10 21:22, 18小時前 , 60F
考慮 5060 ti 16g +1 跑 ai 生圖
06/10 21:22, 60F
推
06/10 21:47, 18小時前 , 61F
Core 2 T9900?
06/10 21:47, 61F
推
06/10 22:23, 17小時前 , 62F
這時間點應該是DGX SPARK直接買下去
06/10 22:23, 62F
→
06/10 22:23, 17小時前 , 63F
那個價格能跑200B大模型 秒殺所有RTX
06/10 22:23, 63F
推
06/10 22:50, 17小時前 , 64F
能跑跟跑得快是兩回事 你以為真有那麼爽
06/10 22:50, 64F
→
06/10 22:52, 17小時前 , 65F
買Spark不如買5090
06/10 22:52, 65F
推
06/10 23:57, 15小時前 , 66F
那個只是跑得動而已 真的要拿來應用
06/10 23:57, 66F
→
06/10 23:57, 15小時前 , 67F
還是離很遠的程度
06/10 23:57, 67F
推
06/11 00:40, 15小時前 , 68F
Ollama玩一玩就好了
06/11 00:40, 68F
→
06/11 00:40, 15小時前 , 69F
跑大量資料跑久了會進幻覺 還會亂碼
06/11 00:40, 69F
→
06/11 00:41, 15小時前 , 70F
串OpenAI大部分你會遇到的問題人家
06/11 00:41, 70F
→
06/11 00:41, 15小時前 , 71F
解決了
06/11 00:41, 71F
推
06/11 00:45, 15小時前 , 72F
DGX Spark就是可預期的到大概就搶不
06/11 00:45, 72F
→
06/11 00:45, 15小時前 , 73F
到QQ
06/11 00:45, 73F
‣ 更多 Balezo 的文章
文章代碼(AID): #1eH_rSOH (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Balezo 的文章
文章代碼(AID): #1eH_rSOH (PC_Shopping)