Re: [菜單] 120K LLM+SD 5090 AI生成機
怎麼說呢，目前小資玩LLM訓練還是很困難啦
NV專業卡價格超級貴又難買，只能買消費級遊戲卡來擋
雖然有雲端服務商算力平台，但說真的
短租不如長租~~長租不如買斷(沒預算就什麼都沒法用)
而且平台不只租GPU，連VM都得一起建在上面才能用
像GCP台灣節點能租到的也就V100，這一張才16G而已
https://cloud.google.com/compute/gpus-pricing
VM/GPU/Storge/Network分開計價，有預算再考慮玩吧
如果只是要玩推理，速度不快有夠大的VRAM也行
但是看一下老黃卡有大VRAM的都不好買，所以嘛
某個用UMA架構能把RAM當VRAM的品牌電腦很有優勢
配上exo框架+雷電網橋組集群打怪也是很不錯
實務上來說國內企業對資料上雲有疑慮，就算可上也要機房落地
自然不考慮國外GPU平台，大概也就Google跟Azure台灣有機房的
而中小企業想跟上AI風潮但預算更少，組90系列當算力也很常聽到
因此本地端跑LLM還是有必要性，玩起來限制也較少
至少先從使用LLM的成本降低才來思考微調訓練LLM的需求...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.129.145 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1738751914.A.423.html
推
02/05 19:43,
5小時前
, 1F
02/05 19:43, 1F
→
02/05 19:43,
5小時前
, 2F
02/05 19:43, 2F
→
02/05 21:59,
2小時前
, 3F
02/05 21:59, 3F
→
02/05 22:00,
2小時前
, 4F
02/05 22:00, 4F
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章
