Re: [討論] 資料分析的門檻

看板DataScience作者liton (歐吉桑留學生)時間5年前 (2019/04/29 01:10)推噓7(7推 0噓 10→)

留言17則, 9人參與討論串2/2 (看更多)

這篇回文我糾結幾天在想要不要回要怎麼回這一年來有在高中或是大學教書的同學或是親戚在問我, 怎麼讓學生知道這個行業在做啥讓他們知道要怎麼學習在這順便做個初步整理 --- 我在台灣做了超過10年的信用風險模型目前在大陸的互聯網行業對我來說把變量和模型丟進去算可能只占我5%的工作時間其他的雜事占了我95%的工作時間這95%的時間在幹嘛呢? 1.1 甲同學我要他做個增減量的特徵變量, 結果說了好幾遍還用var算,還回說是一模一樣的東西..好吧我自己動手 1.2 乙同學對本組有著不切實際的幻想而申請轉崗到本組以為模型是很神奇的完全不想做贓活清數據做變量庫..TMD又是我做 1.3 丙同學模型做好XGBOOT後整包給負責上線的同學,中間層的變量完全沒設計變量庫現在哪偏掉了了都不知道只能找另一個同學丁接手重建 1.4 丁同學調參之後上線但中間層近萬個變量也沒留只好找戊同學產出中間層變量的月切片追蹤模型表現 1.5 對了,甲丙丁同學剛畢業不久,還是習慣將server上的資料下到本機...一次幾十G 數據安全部門同學不爽了我又得擦屁股了跟老闆凹了台128G的linux,架上Jupyter和mysql連接上Hadoop暫時解決這問題模型推進的過程中也一直遇到問題 2.1 不管是做傳統模型的甲同學或是機器學習模型的丙丁同學都是埋頭猛做,跟他們說應用場景,資料覆蓋率,客戶畫像,數據源穩定性分析要先做結果每天都在鑽研算法然後忽然要老闆接受一個新模型只要叫戊同學趕緊用SAS把這些前期分析補上了 2.2 跟乙同學談了好幾遍變量設計他拿客戶三個月的通話紀錄做變量,算出一些我看不懂跟預測變量有啥關係的特徵市內電話占比/手機通話占比/有撥出有撥入的電話佔比好吧既然他沒事先問就先算出來了我問那方向性呢?越高越好還是越低越好? 他說看數據算出來如果參數是正就是越高越好負的就越低越好(我臉上三條線) 另外他也處理了一些財務變量例如毛利率/營業收入我問:如果營業收入是0怎麼辦?空值嗎? 如果毛利率和營業收入都是負怎麼辦?跟兩個都是正數一樣嗎? (雖然這模型是我負責..還好最後沒上線) 最蛋疼還是平台問題 3.1 我們有hadoop 各種各種前端業務庫的mysql 有的小夥伴在container上使用python 有的在linux上使用impala和hive連hadoop 有的做監控的小夥伴用SAS 有些數據在某些平台跑不動有些平台卻沒連到某個庫不同平台的SQL語法不同 python2和python3的語法差異也困擾很久結果是我的東西你用不了你的東西要用scp或用sqoop轉幾次 NAS在123機房計算平台卻在456機房要連就要物理連接 --- 恩幸好我擠了5%的時間開發自己的模型其實我想做數據科學家啊 https://imgur.com/P2TGXvr