PTT數位生活區 / VideoCard (顯卡板)

[請益] 買Nvdia 50系列顯卡跑大模型?

看板VideoCard (顯卡板)作者 (chanjung)時間1月前 (2025/01/27 22:11), 編輯推噓9(9推 0噓 24→)
留言33則, 18人參與, 6天前最新討論串1/1
近期想更換顯卡(僅考慮，非必要)， 近期AI越來越強大， 時常我會用到deepseek或其他ai來寫寫程式， 想說未來可能如果自己有一個AI在家裡跑， 若考慮到耗電量 翻譯或是寫程式不曉得會不會划算？ 也不曉得跑不跑得動(沒這方面經驗) 可能偶而用於生成圖片報告或ppt等， 想請教這邊是否有大大有經驗， 考慮入手50系列最低階的試試看，跑得動嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.206.240 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/VideoCard/M.1737987104.A.E99.html
→
01/27 22:59, 1月前 , 1F
跑不動 不用想太多
01/27 22:59, 1F
→
01/28 13:02, 1月前 , 2F
能跑得動的狀置，普通家用插頭都供不了電。
01/28 13:02, 2F
→
01/28 17:01, 1月前 , 3F
要自己訓練模型就別想了，現在終端能跑的都是拿別人訓練
01/28 17:01, 3F
→
01/28 17:01, 1月前 , 4F
好的模型來做推論
01/28 17:01, 4F
→
01/28 22:34, 1月前 , 5F
他只是想跑模型吧,誰會想自己訓練模型
01/28 22:34, 5F
→
01/28 22:35, 1月前 , 6F
去安裝ollama後自己跑模型試試就知道了
01/28 22:35, 6F
→
01/28 22:37, 1月前 , 7F
我的感覺還是花點錢線上跑比較實際
01/28 22:37, 7F
→
01/29 02:49, 1月前 , 8F
跑AI那就是5090了。
01/29 02:49, 8F
推
01/29 14:05, 1月前 , 9F
不用想，已經買不到了
01/29 14:05, 9F
推
01/29 15:53, 1月前 , 10F
只能買3090 4090 5090
01/29 15:53, 10F
推
01/29 19:10, 1月前 , 11F
目前用3060 12G跑語言小模型，能用。不過未來模型應該是
01/29 19:10, 11F
→
01/29 19:10, 1月前 , 12F
最低16起跳
01/29 19:10, 12F
→
01/30 09:25, 1月前 , 13F
除非要做規定外功能，寫程式訂閱比較實在
01/30 09:25, 13F
→
01/30 17:17, 1月前 , 14F
01/30 17:17, 14F
→
01/30 17:18, 1月前 , 15F
4070跑14b(q4_K_M)模型大小9GB 顯存占用也差不多8.9GB
01/30 17:18, 15F
→
01/30 17:20, 1月前 , 16F
獨顯VRAM>6G都能先跑來玩看看啊 ..扣掉下載模型檔案時間
01/30 17:20, 16F
→
01/30 17:21, 1月前 , 17F
RUN起來不用5分鐘..
01/30 17:21, 17F
→
01/30 17:22, 1月前 , 18F
教學水管零度有
01/30 17:22, 18F
推
01/31 13:46, 1月前 , 19F
為什麼不是ChatGPT?
01/31 13:46, 19F
推
02/01 20:26, 1月前 , 20F
你想到的 老黃都想過了 等機器人的大腦出貨就知道了
02/01 20:26, 20F
推
02/04 15:10, 4周前 , 21F
個人跑的模型頂多十億資料等級
02/04 15:10, 21F
→
02/04 15:11, 4周前 , 22F
與完整模型數千億級的相差甚遠
02/04 15:11, 22F
→
02/04 15:12, 4周前 , 23F
玩玩可以，不用抱太大期待
02/04 15:12, 23F
→
02/04 15:13, 4周前 , 24F
連翻譯都翻得文不對題
02/04 15:13, 24F
→
02/05 13:35, 3周前 , 25F
會跑模型可以直接買張H100來玩架伺服器
02/05 13:35, 25F
推
02/06 12:51, 3周前 , 26F
我覺得你不妨等到你真的有需求的時候在想這件事情？
02/06 12:51, 26F
→
02/13 18:20, 2周前 , 27F
感想就是普通人買個M4 mini PRO 64G，雖然慢，但起
02/13 18:20, 27F
→
02/13 18:21, 2周前 , 28F
碼價格負擔的起，閹割版模型也能跑比較大的，不然
02/13 18:21, 28F
→
02/13 18:22, 2周前 , 29F
你就算買張5090(如果能買到的話)，32G還是很不夠用
02/13 18:22, 29F
→
02/13 18:22, 2周前 , 30F
我自己跑14b的deepseek實在很難用
02/13 18:22, 30F
推
02/24 00:33, 1周前 , 31F
等老黃的Project Digits
02/24 00:33, 31F
推
02/27 09:27, 6天前 , 32F
14b基本是智障 用網頁或api吧 本地對我來說最大用處
02/27 09:27, 32F
→
02/27 09:27, 6天前 , 33F
是sakuraLLM+LunaTranslator即時翻譯黃油
02/27 09:27, 33F
‣ 更多 chanjungwu 的文章
文章代碼(AID): #1dbvGWwP (VideoCard)
VideoCard 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 chanjungwu 的文章
文章代碼(AID): #1dbvGWwP (VideoCard)