Re: [請益] 1660S x2 or 3070 組DL server

看板PC_Shopping (個人電腦購買)作者yoyololicon (十年魔乃粉)時間3年前 (2021/08/31 19:18)推噓4(4推 0噓 4→)

留言8則, 6人參與討論串2/2 (看更多)

※ 引述《yoyololicon (十年魔乃粉)》之銘言： : 乳題 : 最近想組個機器跑些DL的project : 因為是自己玩玩的性質，所以都找些二手零件壓成本 : 用的是四代平台4790S + 8G 1866 x4，電供650w : 最重要的顯卡預算大概是15k上下 : 目前最符合條件的感覺就3070 : 不過以前在學校跑DL的經驗，有兩顆gpu跑平行會快很多 : 所以想乾脆用兩隻1660S來組，記憶體還可以上到12G : 但是就沒有Tensor core可以玩了qq，也不確定這樣組的效能是否可以追上3070 : 還請版友給個建議最近版上出現一些深度學習配單，覺得有一些心得可以分享，省的走冤枉路就來回一下舊文，我最後拿3070喇先說結論，3060 cp值最高唯一推薦，再上去建議直接攻頂3090 大部分人買顯卡都很關心效能，所以我看到有些人會拿3070, 3060ti上來問但是跑深度學習除了效能以外，VRAM大小以及資料讀取的IO時間都會影響training效率 VRAM影響能跑得模型大小、類型，或是能一次塞入的資料量，可以想成和運算量成正比；而資料讀取的時間影響你能在多短的時間內拿到可以訓練的資料從我去年11月買了3070後，這之間多多少少訓練過一些模型，算是有一些心得觀察下來其實大部份的時間3070很難完全跑滿，看模型類型，有時甚至30,40%而已為什麼沒有跑滿？因為卡在資料進來的速度，跟CPU，硬碟和主機板比較有關但只要組的等級有到基本差別不大而且這是已經優化過資料讀取的pipeline後的結果沒辦法，只好增加顯卡的運算量，看能不能善用這些idle的時間但這時就會發現，8 Gb的VRAM根本就小氣到不行，一下就塞滿了相比之下，3060 12Gb就很值，雖然效能較差，但以3070完全效能過剩的表現來看更有機會能發揮100%的效能舉個實際的例子，小弟最近參加了一個跟AI相關的比賽，很幸運的撈到了銅牌 https://github.com/yoyololicon/music-demixing-challenge-ismir-2021-entry 其中一部分的模型就是用3070練出來的為了讓GPU跑到滿，自己改了一個dataloader加速資料讀取速度、使用混合精度訓練節省記憶體、將資料preprocessing改寫移植到GPU上讓它多一些運算做了這麼多改動才好不容易讓GPU能跑在95% Orz 而且為了跑到預定的batch size大小，還得做gradient accumulation 如果有大VRAM就可以train比較無腦一些大概醬 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.32.97 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1630408715.A.0D4.html