PTT數位生活區 / VideoCard (顯卡板)

[請益] 買Nvdia 50系列顯卡跑大模型?

看板VideoCard (顯卡板)作者 (chanjung)時間3天前 (2025/01/27 22:11), 編輯推噓3(3推 0噓 15→)
留言18則, 10人參與, 11小時前最新討論串1/1
近期想更換顯卡(僅考慮，非必要)， 近期AI越來越強大， 時常我會用到deepseek或其他ai來寫寫程式， 想說未來可能如果自己有一個AI在家裡跑， 若考慮到耗電量 翻譯或是寫程式不曉得會不會划算？ 也不曉得跑不跑得動(沒這方面經驗) 可能偶而用於生成圖片報告或ppt等， 想請教這邊是否有大大有經驗， 考慮入手50系列最低階的試試看，跑得動嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.206.240 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/VideoCard/M.1737987104.A.E99.html
→
01/27 22:59, 3天前 , 1F
跑不動 不用想太多
01/27 22:59, 1F
→
01/28 13:02, 2天前 , 2F
能跑得動的狀置，普通家用插頭都供不了電。
01/28 13:02, 2F
→
01/28 17:01, 2天前 , 3F
要自己訓練模型就別想了，現在終端能跑的都是拿別人訓練
01/28 17:01, 3F
→
01/28 17:01, 2天前 , 4F
好的模型來做推論
01/28 17:01, 4F
→
01/28 22:34, 2天前 , 5F
他只是想跑模型吧,誰會想自己訓練模型
01/28 22:34, 5F
→
01/28 22:35, 2天前 , 6F
去安裝ollama後自己跑模型試試就知道了
01/28 22:35, 6F
→
01/28 22:37, 2天前 , 7F
我的感覺還是花點錢線上跑比較實際
01/28 22:37, 7F
→
01/29 02:49, 2天前 , 8F
跑AI那就是5090了。
01/29 02:49, 8F
推
01/29 14:05, 1天前 , 9F
不用想，已經買不到了
01/29 14:05, 9F
推
01/29 15:53, 1天前 , 10F
只能買3090 4090 5090
01/29 15:53, 10F
推
01/29 19:10, 1天前 , 11F
目前用3060 12G跑語言小模型，能用。不過未來模型應該是
01/29 19:10, 11F
→
01/29 19:10, 1天前 , 12F
最低16起跳
01/29 19:10, 12F
→
01/30 09:25, 19小時前 , 13F
除非要做規定外功能，寫程式訂閱比較實在
01/30 09:25, 13F
→
01/30 17:17, 11小時前 , 14F
01/30 17:17, 14F
→
01/30 17:18, 11小時前 , 15F
4070跑14b(q4_K_M)模型大小9GB 顯存占用也差不多8.9GB
01/30 17:18, 15F
→
01/30 17:20, 11小時前 , 16F
獨顯VRAM>6G都能先跑來玩看看啊 ..扣掉下載模型檔案時間
01/30 17:20, 16F
→
01/30 17:21, 11小時前 , 17F
RUN起來不用5分鐘..
01/30 17:21, 17F
→
01/30 17:22, 11小時前 , 18F
教學水管零度有
01/30 17:22, 18F
‣ 更多 chanjungwu 的文章
文章代碼(AID): #1dbvGWwP (VideoCard)
VideoCard 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 chanjungwu 的文章
文章代碼(AID): #1dbvGWwP (VideoCard)