PTT數位生活區 / PC_Shopping (個人電腦購買)

Re: [菜單] 60K 深度學習機消失

看板PC_Shopping (個人電腦購買)作者時間8年前 (2018/04/15 14:05), 8年前編輯推噓13(13推 0噓 66→)
留言79則, 16人參與, 最新討論串2/5 (看更多)
這邊提供一些個人實作上的經驗 目前要組深度學習機，假如你同時符合以下三個情境： A.目的是為了學怎麼開發(沒有已經做好的模型) B.要在某個期限之內有明確產出或結論 C.資金不足以直接全部設備攻頂的狀況下， 強烈建議先把資金砸在CPU上 為什麼呢? 因為深度學習有一件很重要的事情叫做tuning tuning的時候很難預期參數或是layer到底好不好 這種狀況下最好的策略是：開很多個不同參數的模型，一起訓練 假設你是用NVIDIA的顯卡跑計算，會遇到一個問題： NVIDIA的顯卡，一個GPU一次只能跑一個任務(計算) 執行的時候可以多個執行序一起排隊等GPU用 但是計算的時候，所有執行序還是要排隊等GPU閒下來 可以參考quora上這篇問答： https://goo.gl/8thHLG 用CPU同時跑模型其實有類似的問題 但是CPU核心很便宜(跟GPU比)，可以直接1950X或是買xeon/epyc解決 接下來，就是真正的問題： 你的模型用CPU跑跟用GPU跑，速度到底差多少 一樣回到前面的三個情境 假如你發現你的模型用CPU跑跟用GPU跑速度只差一倍 (這在開發過程中很合理) 但是你的程式碼在同時訓練多個模型的時候， GPU版的程式碼要排隊等GPU核心空閒，CPU版的不用 差距會縮小， 甚至整個tuning的過程，可能用CPU做比較快 至於你的程式有多少執行時間，是用在GPU外處理資料的部分 那就是另外一個故事了 大guy4john ※ 引述《bear1222 (棕熊)》之銘言： : 已買/未買/已付訂金（元）：未買 : 預算/用途：練習深度學習，不玩遊戲 : CPU (中央處理器)：Intel i7-8700 3.2GHz : MB (主機板)：華碩 ROG STRIX Z370-F GAMING : RAM (記憶體)：金士頓 16G*2 DDR4-2133 : VGA (顯示卡)：EVGA GTX1080 FTW GAMING ACX3.0 8G : HDD (硬碟)：WD 1TB (10EZEX) 藍標 : SSD (固態硬碟)：Intel 760P 256G : DVD-RW (燒錄機)：無 : PSU (電源供應器)：海韻 Focus+ SSR-750FX 750W : CHASSIS (機殼)：F.D R5(永夜黑)靜音款 : MONITOR (螢幕)：無 : Mouse/KB (鼠鍵)：無 : 其它 (自填)：CPU散熱：快睿 H7 : Windows 10 64bit 中文家用隨機版 : 注意1：自稱小妹或會透露自己性別的舉動要注意可能會引來不必要的紛擾，請注意。 : 注意2：標題是否有寫明"預算"、"用途"? 沒有請按Ctrl+x 然後按T改標題 : 注意3：請多加利用線上估價系統來進行估價以及價格查詢 (僅供參考) : 禁止任何估價系統的連結，估價系統的估價單號 : 與估價系統網址的數字。視為估價單單號。 : 與相關包含手寫、excel、估價系統的擷圖連結。 : 2017/07/01會處罰。 : 菜單文與情報文，禁止任何估價系統連結與擷圖、包含文字估價單號碼。 : (參閱板規1-2-3、1-3-9) : 違反者:刪文、水桶十日。 : 注意4：為保障您的權益，購物消費請索取統一發票，並盡量以含稅價取貨 : 注意5：若有任何問題請先洽詢板務。 : 除了練習Python TensorFlow、Pytorch等深度學習框架外 : 偶爾也會用Visual Studio寫寫C++ code : 都主要著重於影像處理、電腦視覺領域 : 請各位大大不吝指教了，謝謝! : 總價 (未稅/含稅)：60068 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.176.111.121 ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1523772311.A.4CC.html
推
04/15 14:29, , 1F
可是參數很多的狀況下 通常會有數量級的差距
04/15 14:29, 1F
→
04/15 14:29, , 2F
之前用CNN CPU 速度真的很可憐，但RNN差距就沒那麼
04/15 14:29, 2F
→
04/15 14:29, , 3F
大了
04/15 14:29, 3F
→
04/15 14:30, , 4F
不過 這真的也是提供另一個觀點 感謝
04/15 14:30, 4F
※ 編輯: kuarcis (180.176.111.121), 04/15/2018 14:42:04
推
04/15 14:58, , 5F
說真的，真的是要看跑什麼model跟輸入什麼數據，
04/15 14:58, 5F
→
04/15 14:58, , 6F
乾脆以後都加一條:深度機需提供model，數據量，數據
04/15 14:58, 6F
→
04/15 14:58, , 7F
格式
04/15 14:58, 7F
→
04/15 15:09, , 8F
我猜很多來問設備的都是研究生啦 沒有現成model要自
04/15 15:09, 8F
→
04/15 15:10, , 9F
己開發的居多 有現成model的應該只會來問是不是買貴
04/15 15:10, 9F
→
04/15 15:22, , 10F
不 CPU跟GPU根本不能比 有預算限制也是要優先投資
04/15 15:22, 10F
→
04/15 15:23, , 11F
GPU... 另外就是注意GPU RAM，太小根本無法用
04/15 15:23, 11F
→
04/15 15:25, , 12F
太多model都很大，FCN FRCNN etc
04/15 15:25, 12F
→
04/15 15:26, , 13F
如果要玩GAN，那就更不用講了，CPU大概要train超過
04/15 15:26, 13F
→
04/15 15:26, , 14F
兩個星期
04/15 15:26, 14F
推
04/15 15:30, , 15F
原始吃圖片跟吃數值計算量就差十萬八千里了
04/15 15:30, 15F
→
04/15 15:49, , 16F
你認真嗎... 沒有 GPU 一堆 model 根本不能跑
04/15 15:49, 16F
推
04/15 15:53, , 17F
認真嗎，你真的要tuning，排程跑GPU哪會比CPU慢
04/15 15:53, 17F
→
04/15 15:55, , 18F
尤其是CV這塊 用單GPU跑兩個小時的東西換CPU跑不知
04/15 15:55, 18F
→
04/15 15:55, , 19F
道多幾倍的時間
04/15 15:55, 19F
推
04/15 17:06, , 20F
gpu ram 不夠大根本沒用，只能當裝飾
04/15 17:06, 20F
→
04/15 17:07, , 21F
然後gpu沒到一定等級，一定不會有足夠的ram
04/15 17:07, 21F
→
04/15 17:11, , 22F
這裡都採購版了 幹嘛講得這麼玄學 價錢比一下就知道
04/15 17:11, 22F
→
04/15 17:12, , 23F
你要買到有明顯更多核的CPU TR OR X299 光CPU多2萬
04/15 17:12, 23F
→
04/15 17:12, , 24F
MB多5~10K 這錢夠不夠買一張夠大RAM的GPU了?
04/15 17:12, 24F
→
04/15 17:17, , 25F
25k~30k也就差不多一張1080ti而已...lol
04/15 17:17, 25F
→
04/15 17:19, , 26F
不就很簡單 12~16C的CPU+開機卡 VS 6~8C CPU+1080TI
04/15 17:19, 26F
→
04/15 17:19, , 27F
哪個跑比較順 就該買哪個 這就電蝦精神
04/15 17:19, 27F
→
04/15 17:43, , 28F
學習真他媽花錢...
04/15 17:43, 28F
→
04/15 17:44, , 29F
要玩dl就只能選後者
04/15 17:44, 29F
→
04/15 17:47, , 30F
而且我對1080TI Ram size不夠感到好奇
04/15 17:47, 30F
→
04/15 18:00, , 31F
我的意思是說拿1080ti的錢去換高階CPU，那也只能GG
04/15 18:00, 31F
→
04/15 18:06, , 32F
因為看你說"也就"一張1080TI 讓我很好奇1080TI多慘
04/15 18:06, 32F
推
04/15 19:03, , 33F
這個意思是說 如果要訓練的模型放不進去GPU
04/15 19:03, 33F
→
04/15 19:03, , 34F
那這張卡就很尷尬了 有點白買了 而1080ti就11GB而已
04/15 19:03, 34F
→
04/15 19:03, , 35F
如果是跑很多層的CNN訓練圖片 11GB真的好像不太夠
04/15 19:03, 35F
→
04/15 19:04, , 36F
0.0 假如已經知道要拿來研究的模型在GPU上跑比較快
04/15 19:04, 36F
→
04/15 19:05, , 37F
那當然是花錢在GPU上啊= =
04/15 19:05, 37F
→
04/15 19:05, , 38F
我個人電腦跑文字相關的運算 記憶體裝64GB
04/15 19:05, 38F
→
04/15 19:05, , 39F
也有可能因為我一開始參考的點不太一樣 所以跟主打
04/15 19:05, 39F
→
04/15 19:05, , 40F
CNN/RNN的各位看的需求不一樣
04/15 19:05, 40F
→
04/15 19:06, , 41F
訓練文件稍微多一點也是outOfMemory跳不停 QQ
04/15 19:06, 41F
→
04/15 19:07, , 42F
以這篇文章當案例好了
04/15 19:07, 42F
→
04/15 19:07, , 43F
04/15 19:07, 43F
→
04/15 19:08, , 44F
在自動控制方面 我要做demo案例 看完這篇文章
04/15 19:08, 44F
→
04/15 19:08, , 45F
我第一個會考慮的是組多核CPU跑A3C
04/15 19:08, 45F
→
04/15 19:09, , 46F
雖然這篇文章的確就是在講A3C沒錯XD不過我想表達的
04/15 19:09, 46F
推
04/15 19:10, , 47F
(這篇Paper看起來好好玩)
04/15 19:10, 47F
→
04/15 19:13, , 48F
意思是 CPU在不同架構下的有其優劣勢 需要列入考慮
04/15 19:13, 48F
→
04/15 19:28, , 49F
當然是不同架構有不同優勢 不過CPU沒很便宜阿
04/15 19:28, 49F
→
04/15 19:29, , 50F
簡單來說就CPU多4~8C 還是拿一張1080TI的差異
04/15 19:29, 50F
→
04/15 19:38, , 51F
不過純那篇論文還有一個點就是其實他GPU拿很舊的
04/15 19:38, 51F
→
04/15 19:38, , 52F
CPU這幾年進步很少 但GPU進步幅度很跨張
04/15 19:38, 52F
→
04/15 19:39, , 53F
當然有沒有強到交叉沒測過也不清楚
04/15 19:39, 53F
→
04/15 19:45, , 54F
還有一個比較有趣的沒去比過 之前Amazon的ML伺服
04/15 19:45, 54F
→
04/15 19:45, , 55F
用的也是很舊的Tesla很沒CP值 但是全面導入V100以後
04/15 19:45, 55F
→
04/15 19:45, , 56F
就沒去算過了 說不定開始有CP值
04/15 19:45, 56F
推
04/15 21:35, , 57F
不錯不錯討論起來~
04/15 21:35, 57F
→
04/15 21:36, , 58F
我是來建議原PO改標題的，改個容易被搜尋到注意到
04/15 21:36, 58F
→
04/15 21:36, , 59F
的吧
04/15 21:36, 59F
→
04/15 21:37, , 60F
不然你們在這講半天，後面爬文的人沒看到也沒意義
04/15 21:37, 60F
推
04/16 08:21, , 61F
好奇有什麼模型是cpu跑cp值比較高的 rnn系用recurr
04/16 08:21, 61F
→
04/16 08:21, , 62F
ent連到後層的方法gpu應該跑的了 我猜attention要
04/16 08:21, 62F
→
04/16 08:21, , 63F
讀記憶庫所以cpu較適合 加上預處理cpu可能會是瓶頸
04/16 08:21, 63F
→
04/16 08:21, , 64F
? 但這也不代表要組純cpu 只是比例要算好 個人覺得
04/16 08:21, 64F
→
04/16 08:21, , 65F
如果模型在gpu上跑不好就代表這個模型有問題了...
04/16 08:21, 65F
推
04/16 08:52, , 66F
如果做CNN用CPU通常就是屎 但主要還是看應用什麼
04/16 08:52, 66F
→
04/16 08:52, , 67F
不一定
04/16 08:52, 67F
推
04/16 09:24, , 68F
我8700跑lenet cifar10比1080ti快
04/16 09:24, 68F
→
04/16 09:25, , 69F
小模型都這樣
04/16 09:25, 69F
推
04/16 09:45, , 70F
我持反對意見 深度學習絕對是投資在gpu 我之前用ten
04/16 09:45, 70F
→
04/16 09:45, , 71F
sorflow測個CNN的範例程式 i7-4770 7分半 1080Ti 12
04/16 09:45, 71F
→
04/16 09:45, , 72F
秒 不管怎麼看一定是把錢投資在gpu 這樣的預算絕對
04/16 09:45, 72F
→
04/16 09:45, , 73F
是先買1080ti其他的再說
04/16 09:45, 73F
→
04/16 10:26, , 74F
樓上的有錢法才能這樣，
04/16 10:26, 74F
→
04/16 10:26, , 75F
像我顯卡必須買低於10k的就...... (老師給的預算就
04/16 10:26, 75F
→
04/16 10:26, , 76F
醬)
04/16 10:26, 76F
推
04/16 10:29, , 77F
塞得下model的話 筆電顯卡照樣屌虐i7...CNN是這樣
04/16 10:29, 77F
→
04/16 10:43, , 78F
其實就大家時間攤出來看一下就知道了 4~8C的漲幅到
04/16 10:43, 78F
→
04/16 10:43, , 79F
底能有多少幫助 量化來看比較實際
04/16 10:43, 79F
‣ 更多 kuarcis 的文章
文章代碼(AID): #1QqkkNJC (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 kuarcis 的文章
文章代碼(AID): #1QqkkNJC (PC_Shopping)