Re: [討論] 資料分析的門檻

看板DataScience作者 (歐吉桑留學生)時間5年前 (2019/04/29 01:10), 5年前編輯推噓7(7010)
留言17則, 9人參與, 5年前最新討論串2/2 (看更多)
這篇回文我糾結幾天在想要不要回 要怎麼回 這一年來有在高中或是大學教書的同學或是親戚在問我, 怎麼讓學生知道這個行業在做啥 讓他們知道要怎麼學習 在這順便做個初步整理 --- 我在台灣做了超過10年的信用風險模型 目前在大陸的互聯網行業 對我來說 把變量和模型丟進去算可能只占我5%的工作時間 其他的雜事占了我95%的工作時間 這95%的時間在幹嘛呢? 1.1 甲同學我要他做個增減量的特徵變量, 結果說了好幾遍還用var算,還回說是一模一樣的東西..好吧我自己動手 1.2 乙同學對本組有著不切實際的幻想而申請轉崗到本組 以為模型是很神奇的完全不想做贓活清數據做變量庫..TMD又是我做 1.3 丙同學模型做好XGBOOT後整包給負責上線的同學,中間層的變量完全沒設計變量庫 現在哪偏掉了了都不知道 只能找另一個同學丁接手重建 1.4 丁同學調參之後上線但中間層近萬個變量也沒留 只好找戊同學產出中間層變量的月切片追蹤模型表現 1.5 對了,甲丙丁同學剛畢業不久,還是習慣將server上的資料下到本機...一次幾十G 數據安全部門同學不爽了 我又得擦屁股了 跟老闆凹了台128G的linux,架上Jupyter和mysql連接上Hadoop暫時解決這問題 模型推進的過程中也一直遇到問題 2.1 不管是做傳統模型的甲同學 或是機器學習模型的丙丁同學 都是埋頭猛做,跟他們說應用場景,資料覆蓋率,客戶畫像,數據源穩定性分析要先做 結果每天都在鑽研算法 然後忽然要老闆接受一個新模型 只要叫戊同學趕緊用SAS把這些前期分析補上了 2.2 跟乙同學談了好幾遍變量設計 他拿客戶三個月的通話紀錄做變量,算出一些我看不懂跟預測變量有啥關係的特徵 市內電話占比/手機通話占比/有撥出有撥入的電話佔比 好吧 既然他沒事先問就先算出來了 我問那方向性呢?越高越好還是越低越好? 他說看數據算出來如果參數是正就是越高越好 負的就越低越好(我臉上三條線) 另外他也處理了一些財務變量 例如 毛利率/營業收入 我問:如果營業收入是0怎麼辦?空值嗎? 如果毛利率和營業收入都是負怎麼辦?跟兩個都是正數一樣嗎? (雖然這模型是我負責..還好最後沒上線) 最蛋疼還是平台問題 3.1 我們有hadoop 各種各種前端業務庫的mysql 有的小夥伴在container上使用python 有的在linux上使用impala和hive連hadoop 有的做監控的小夥伴用SAS 有些數據在某些平台跑不動 有些平台卻沒連到某個庫 不同平台的SQL語法不同 python2和python3的語法差異也困擾很久 結果是我的東西你用不了 你的東西要用scp或用sqoop轉幾次 NAS在123機房 計算平台卻在456機房 要連就要物理連接 --- 恩 幸好我擠了5%的時間開發自己的模型 其實我想做數據科學家啊 https://imgur.com/P2TGXvr
5%的時間做模型 95%的時間做ppt -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.216.183 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1556471434.A.77E.html

04/29 01:38, 5年前 , 1F
看來在業界做dirty work的時間比例較高好像也滿正常?
04/29 01:38, 1F
我想強調的是這行的dirty work不是只有dirty data 系統 計算引擎 存儲的整合都是dirty work

04/29 01:39, 5年前 , 2F
其實根本就人人都是data engineer...
04/29 01:39, 2F

04/29 06:32, 5年前 , 3F
辛苦了
04/29 06:32, 3F
這行本來就這樣沒啥辛苦的 只是希望還在念書同學的不要有幻想 趕緊念書做些專題 台灣比較可惜沒實習 這邊大四生和碩二生已經到各公司實習知道產業在做啥

04/29 12:59, 5年前 , 4F
真的有心搞高深算法的,出國唸博真的比較多機會。台灣要
04/29 12:59, 4F

04/29 12:59, 5年前 , 5F
在業界要搞高深理論太難了,真的實作出來,你想實踐也要
04/29 12:59, 5F

04/29 12:59, 5年前 , 6F
說服老闆,老闆通常不是搞這塊出生的,也只會出事在把
04/29 12:59, 6F

04/29 12:59, 5年前 , 7F
問題丟給你
04/29 12:59, 7F

04/29 13:17, 5年前 , 8F
結果跟應用 遠比其他什麼理論重要
04/29 13:17, 8F
有個比較大的相關問題 也是從業人士很痛的一點 互聯網行業老闆還知道數據和模型的限制 但其他行業如果模型不準的話 老闆會怎麼處理? 所以衍生出來平常怎麼跟老闆匯報階段性成果 或是有些人說啥話老闆就信 我說啥話老闆就不信 不能賭最後一把模型準不準

04/29 14:47, 5年前 , 9F
好奇2.2 丟xgb有辦法先預知變數是正相關嗎?
04/29 14:47, 9F

04/29 14:47, 5年前 , 10F
如果跟其他變數一起做判斷的話變量設計可以怎麼進行呢
04/29 14:47, 10F
這是對於資料的敏感度 例如xgboost漏了一個字母 跟是不是抄襲是正相關?負相關?不相關? 在做特徵工程的時候總該有個想法

04/29 17:39, 5年前 , 11F
辛苦了
04/29 17:39, 11F

04/29 20:54, 5年前 , 12F
xgboost吧?啥xgboot 這文章是不是抄對岸?
04/29 20:54, 12F
漏了一個字母能推斷是不是抄襲..你確定你適合幹這行?

04/29 21:56, 5年前 , 13F
樓上邏輯很屌 推個
04/29 21:56, 13F

04/29 22:29, 5年前 , 14F
高深算法全世界也就幾個頂尖團隊在推進而已
04/29 22:29, 14F

04/29 22:29, 5年前 , 15F
一般人真的別想太多,做應用也沒什麼不好
04/29 22:29, 15F

04/29 22:33, 5年前 , 16F
話說任何領域的scientist本來就都是高門檻職缺
04/29 22:33, 16F

04/29 22:33, 5年前 , 17F
不懂為什麼到這領域就大家都想當data scientist
04/29 22:33, 17F
https://imgur.com/6fQAp0Y
※ 編輯: liton (1.34.216.183), 04/30/2019 03:50:32
文章代碼(AID): #1SnTwAT- (DataScience)
文章代碼(AID): #1SnTwAT- (DataScience)