Re: [請益] 1660S x2 or 3070 組DL server
看板PC_Shopping (個人電腦購買)作者yoyololicon (十年魔乃粉)時間3年前 (2021/08/31 19:18)推噓4(4推 0噓 4→)留言8則, 6人參與討論串2/2 (看更多)
※ 引述《yoyololicon (十年魔乃粉)》之銘言:
: 乳題
: 最近想組個機器跑些DL的project
: 因為是自己玩玩的性質,所以都找些二手零件壓成本
: 用的是四代平台4790S + 8G 1866 x4,電供650w
: 最重要的顯卡預算大概是15k上下
: 目前最符合條件的感覺就3070
: 不過以前在學校跑DL的經驗,有兩顆gpu跑平行會快很多
: 所以想乾脆用兩隻1660S來組,記憶體還可以上到12G
: 但是就沒有Tensor core可以玩了qq,也不確定這樣組的效能是否可以追上3070
: 還請版友給個建議
最近版上出現一些深度學習配單,覺得有一些心得可以分享,省的走冤枉路
就來回一下舊文,我最後拿3070喇
先說結論,3060 cp值最高唯一推薦,再上去建議直接攻頂3090
大部分人買顯卡都很關心效能,所以我看到有些人會拿3070, 3060ti上來問
但是跑深度學習除了效能以外,VRAM大小以及資料讀取的IO時間都會影響training效率
VRAM影響能跑得模型大小、類型,或是能一次塞入的資料量,可以想成和運算量成正比;
而資料讀取的時間影響你能在多短的時間內拿到可以訓練的資料
從我去年11月買了3070後,這之間多多少少訓練過一些模型,算是有一些心得
觀察下來其實大部份的時間3070很難完全跑滿,看模型類型,有時甚至30,40%而已
為什麼沒有跑滿?因為卡在資料進來的速度,跟CPU,硬碟和主機板比較有關
但只要組的等級有到基本差別不大
而且這是已經優化過資料讀取的pipeline後的結果
沒辦法,只好增加顯卡的運算量,看能不能善用這些idle的時間
但這時就會發現,8 Gb的VRAM根本就小氣到不行,一下就塞滿了
相比之下,3060 12Gb就很值,雖然效能較差,但以3070完全效能過剩的表現來看
更有機會能發揮100%的效能
舉個實際的例子,小弟最近參加了一個跟AI相關的比賽,很幸運的撈到了銅牌
https://github.com/yoyololicon/music-demixing-challenge-ismir-2021-entry
其中一部分的模型就是用3070練出來的
為了讓GPU跑到滿,自己改了一個dataloader加速資料讀取速度、使用混合精度訓練
節省記憶體、將資料preprocessing改寫移植到GPU上讓它多一些運算
做了這麼多改動才好不容易讓GPU能跑在95% Orz
而且為了跑到預定的batch size大小,還得做gradient accumulation
如果有大VRAM就可以train比較無腦一些
大概醬
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.32.97 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1630408715.A.0D4.html
推
08/31 19:20,
3年前
, 1F
08/31 19:20, 1F
推
08/31 19:20,
3年前
, 2F
08/31 19:20, 2F
→
08/31 19:28,
3年前
, 3F
08/31 19:28, 3F
→
08/31 19:40,
3年前
, 4F
08/31 19:40, 4F
推
08/31 21:01,
3年前
, 5F
08/31 21:01, 5F
推
08/31 23:40,
3年前
, 6F
08/31 23:40, 6F
→
08/31 23:41,
3年前
, 7F
08/31 23:41, 7F
→
08/31 23:42,
3年前
, 8F
08/31 23:42, 8F
討論串 (同標題文章)
本文引述了以下文章的的內容:
完整討論串 (本文為第 2 之 2 篇):
PC_Shopping 近期熱門文章
PTT數位生活區 即時熱門文章