Re: [請益] AI用途，現在直接買顯示卡，還是等50

看板PC_Shopping (個人電腦購買)作者oopFoo (3d)時間1年前 (2025/02/16 08:29)推噓3(3推 0噓 1→)

留言4則, 3人參與討論串2/2 (看更多)

沒預算，那就軟體部份多研究一下吧。先試試，SVDquant。https://github.com/mit-han-lab/nunchaku 普通來講，imageAI的quantization效果很差，所以幾乎都還在fp16/bf16。fp8已經是可以接受的極限了。但SVDquant可以壓縮到int4，效果可接受，vram需求只要1/3。主要支援FLUX SVDquant的方法也被unsloth拿來壓縮deepseek-r1，據說2bit的效果比傳統4bit強。再來就是，雖然不像llama.cpp，可以把layer分到不同gpu上。imageAI普通來說，需要好幾個models來跑，所以我們可以拆開來分在不同的gpu上，減少vram的需求。例如 https://www.reddit.com/r/StableDiffusion/comments/1el79h3/flux_can_be_run_on_a_multigpu_configuration https://redd.it/1el79h3 或者 https://github.com/neuratech-ai/ComfyUI-MultiGPU 這樣，你就可以另外買16GB的4060ti再撐一下。不過這設定是需要相當軟體經驗的。最後，期待https://github.com/xdit-project/xDiT早點成熟。這是transformer based，所以最早的SD反而不支持。還有大概需要2的倍數的gpus，單數不行，相同的會比較好。 imageAI因為沒有llama.cpp這種東西存在，所以多gpus的支援不好。所以.... ※ 引述《evonne38 (38evo)》之銘言： : 目前AI繪圖用3060 12g撐著，但實在太慢了,VRAM也不夠 : 原本想等到2/20 5070TI，但看版上大大文章和新聞 : 可能到時候根本買不到，甚至性價比根本不高 : 還是要趁現在還沒偷加價，直接挑RTX4070tis : 4070tis 4080s 5070ti VRAM都是16g : 但不知在AI運行上三者是否差異會很大 : 電供也準備升級850w atx3.1(聽說海韻會比較好) : 本來有考慮A卡，但大家都說A卡不適合用在AI : 因為預算有限，無法買到5080以上甚至5090 : 謝謝大家~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739665770.A.FF5.html

Re: [請益] AI用途，現在直接買顯示卡 ，還是等50

Re: [請益] AI用途，現在直接買顯示卡，還是等50