PTT數位生活區 / DataScience

[問題] NLP跑BERT要什麼樣的機器才夠？

看板DataScience作者 (里爾-帕斯魔)時間2年前 (2022/02/09 02:05), 編輯推噓7(7推 0噓 17→)
留言24則, 8人參與, 2年前最新討論串1/1
文組PM剛接觸NLP，不懂機器的規格，但是之前上課的講師有提到一般小企業要短時間得到BERT的輸出結果不太可能，因為成本太高，但是有聽沒有懂。 請問為什麼？BERT真的很吃電還是買這個軟體很貴？ 求大神解釋…GOOGLE都是一堆程式碼看不懂… ----- Sent from JPTT on my iPhone -- 背叛的滋味 大概就像精液吧 淡淡的沒滋沒味卻能教人嘔吐 咬緊牙關吞下去也就沒什麼了 真的就沒什麼了... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.83.33 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1644343510.A.CC2.html
推
02/09 08:37, 2年前 , 1F
兩三年前看過新聞、訓練 bert large 只要一個小時…
02/09 08:37, 1F
→
02/09 08:37, 2年前 , 2F
但是需要大約nvidia v100的1000 個gpu, 如果是一張 v
02/09 08:37, 2F
→
02/09 08:37, 2年前 , 3F
100有16個 gpu, 略估是60張, 一張 如果1000美金…
02/09 08:37, 3F
→
02/09 08:39, 2年前 , 4F
不過、我們應該不需要從頭開始訓練
02/09 08:39, 4F
推
02/09 08:54, 2年前 , 5F
BERT如果用在一般應用只要Fine Tune 用一般顯卡就可以了
02/09 08:54, 5F
→
02/09 08:54, 2年前 , 6F
沒有必要的話不用重頭訓練
02/09 08:54, 6F
→
02/09 09:59, 2年前 , 7F
最近的紀錄好像兩分鐘
02/09 09:59, 7F
→
02/09 10:07, 2年前 , 8F
bert有放出參數啊，單就預測一張1060應該十五秒就可
02/09 10:07, 8F
→
02/09 10:07, 2年前 , 9F
以把一段文章轉成向量。
02/09 10:07, 9F
→
02/09 10:10, 2年前 , 10F
但要從零開始訓練出bert，單就電費就要7000美
02/09 10:10, 10F
→
02/09 10:19, 2年前 , 11F
資料集34億個詞，70GB以上
02/09 10:19, 11F
→
02/09 10:24, 2年前 , 12F
好在這類大模型都有公開已經訓練好的模型參數，像上
02/09 10:24, 12F
→
02/09 10:24, 2年前 , 13F
面講的通常只需要在訓練好的模型後面加兩層神經網路
02/09 10:24, 13F
→
02/09 10:24, 2年前 , 14F
去適應你的任務，就能有可接受的結果了
02/09 10:24, 14F
→
02/09 10:25, 2年前 , 15F
這樣大概一張2080就能跑
02/09 10:25, 15F
推
02/09 16:38, 2年前 , 16F
fasttext了解一下，便宜好用
02/09 16:38, 16F
推
02/11 12:32, 2年前 , 17F
國高那邊要不要試看看？
02/11 12:32, 17F
→
02/11 12:33, 2年前 , 18F
他們的Taiwania2 至少會有1000顆GPU吧？
02/11 12:33, 18F
推
02/11 20:58, 2年前 , 19F
很快的 只要找你們應用場域的 pretrain bert embedding (
02/11 20:58, 19F
→
02/11 20:58, 2年前 , 20F
e.g. FinBERT) 甚至不用fine tune 就有不錯的效果了
02/11 20:58, 20F
推
02/12 22:05, 2年前 , 21F
只要拿現成的模型來訓練你的資料就好，然後再設計你的輸出
02/12 22:05, 21F
推
03/15 08:07, 2年前 , 22F
通常是拿pretrain好的bert encoder來使用，基本的be
03/15 08:07, 22F
→
03/15 08:08, 2年前 , 23F
rt model的參數數量使用空間為400M, 你可以預留2G
03/15 08:08, 23F
→
03/15 08:08, 2年前 , 24F
的記憶體 比較保險
03/15 08:08, 24F
‣ 更多 lirpassmore 的文章
文章代碼(AID): #1Y0h3Mp2 (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lirpassmore 的文章
文章代碼(AID): #1Y0h3Mp2 (DataScience)