Re: [請益] Data Engineer門檻問題

看板DataScience作者pxycho (trolltrolltroll)時間6年前 (2018/03/20 13:14)推噓4(4推 0噓 12→)

留言16則, 6人參與討論串3/5 (看更多)

以我個人的經驗資料這一行可以用開餐廳來比喻你去一間五星級大飯店的廚房工作可能就只要專門負責煎魚或做甜點就好了其他料理有其他助廚負責上面有行政主廚決定菜單下面還有實習生幫殺魚你削蘋果但是如果你是到路邊的小快炒店工作所有的菜你都要自己炒菜單要自己定馬鈴薯要自己削蒜頭也要自己剝你會建 ML model, tune param 很好如果有機會到資料相關業務建置完整的大規模公司上班可能就可以專門負責這一塊工作就好自然會有人幫你把資料準備好讓你端來就可以直接丟進去當 training set 但是如果你是去新創公司或是正要建置這種單位的地方... 資料要弄到可以丟進你的 model 之前光是 data cleaning 就不知道要燒掉你多少時間我真的看過 5TB 的純文字資料沒有 header 沒有 schema 被要求用來建 model 這種時候沒有人幫你做 dirty work 就只好自己捲袖子下去搞要用到的工具不外乎資料庫 (SQL, NoSQL), 資料湖 (hadoop)自己建 ETL 模式然後 AWS 可以幫你省很多跟硬體打交道的時間 (如果公司願意付錢的話，AWS 也不是每個公司都願意用，規模不大的話效益有限) 就像很多人在職場中都會從前端工程師、後端工程師通通變成全端工程師同樣的道理不管你是 Data Scientist 還是 Data Analysist 還是 Data Engineer 名稱真的不是那麼重要只能說該會的東西跑不掉你想要在工作更上一層樓總有些東西是非會不可 ※ 引述《sssh5566 ()》之銘言： : ※ [本文轉錄自 Soft_Job 看板 #1QhXMqsH ] : 作者: sssh5566 () 看板: Soft_Job : 標題: [請益] Data Engineer門檻問題 : 時間: Sun Mar 18 15:30:56 2018 : 之前聽一堆廣告說ML的缺很多就入坑了 : 但爬了一堆文被一堆人勸退找data scientist 的工作 : 朋友推薦可以找看看Data Engineer : 目前正在考慮中 : 也在考慮報名這間Bootcamp : https://imgur.com/2fj4jtA

: https://imgur.com/dVIoKD5

: https://imgur.com/6kpcO3n

: https://imgur.com/mwLkOLC

: 課表大概長這樣 : 朋友是說SQL sparks Hadoop AWS : 這些對找data Engineer的工作有幫助 : 但是由於之前都在接觸Machine learning、deep learning的東西 : 只知道怎麼調參數和建model而已 : 也不太清楚是否SQL Sparks Hadoop Aws這些東西是否有趣 : 以及更重要的是，能否訓練一兩個月後就能找到工作 : 想問下北美 Data Engineer的職缺是否和Front-end一樣 : 很容易讓非本科系受訓後轉行? : (沒身分問題) : 畢竟念web dev的幾乎每個去受訓後3~6個月都能保障找到工作 : 但爬文Data Engineer無論是中文還是英文資料都挺少的 : 有點不懂既然Data Scienist 門檻那麼高，為何還一堆bootcamp、MOOC、線上課程? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.219.237.246 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1521522852.A.88D.html