[討論] Data Science

看板Statistics作者LITTLEN (有沒有那麼雖阿~~~)時間10年前 (2014/06/03 12:14)推噓18(18推 0噓 21→)

留言39則, 18人參與討論串1/1

看到留學板20134篇CS or Statistics講到data scientist的文章, 身為統計人我就把一些想法跟大家分享, 我目前在某個financial company當data scientist. 資料的處理量很大, 常常整理資料要從terabyte的資料挖我需要的資料去fit model. 不可否認我附近的data scientist幾乎都是CS背景的, 也有一些當相關領域的faculty過又回來敝公司工作. 我覺得data science應該分三個方面來講 1. Data Insight 2. Modeling 3. Software/Programming skills (省略Hardware..因為這是資源的問題) 對我來說, 統計的訓練主要是針對1,2; 3的話可以自己學習, 因為當data scientist不需要了解電腦太底層的理論會應用就好程式語言練習久了自然就可以駕輕就熟, 我沒有修過Hadoop方面的課, 全都是自學的也可以被附近的大學找去教這方面的課程這個連結作者講到Data scientist需要會的hard skills, http://nirvacana.com/thoughts/becoming-a-data-scientist/ 裡面的Subway圖我覺得最難的是2-4-5這條, 裡面最重要的是一些Modeling理論跟統計學, 這些基本功夫需要花時間去累積的, 如果可以早點念一些數學的課程, 真的會對念這些東西很有幫助, 而這些就是透過統計系的課程去學習, 然後因為要fit的資料一多練習多一點經驗, 久了也可以累積一些Data Insight了. 統計給我的訓練就是這個主幹線訓練好了, 接下來就是要往旁枝末節的skill讓自己能透過自己的Data Insight 去找到要的資料進而去Modeling, 我自己來說大概會裡面的6-7成Orz...不過我想已經夠用了有時候真的看到一些CS的人拿到資料就直接fit model說結果怎樣, 然後被我問到基本的問題就發現他們都不大管model的適用性問題.. 畫一個Histogram就可以看到資料有問題了, 不過他們不會去注意這些, 我想這就是統計人的價值, 我們可以看到的面向跟CS訓練的不大一樣. 我們念的理論"應該"相對來說也比較多這個才是最難訓練跟累積的.. 這需要好幾年把功力累積出來.. 我想板上的一些學長姐, 也有教授們都是這方面很強的.. 你會看到一些Hedge fund或一些大金融公司要做modeling的工作, fresh graduate 你會看到很多都是這些數學方面硬底子的人.. 找工作方面我覺得除了看connection跟自己的實力, 數學統計好的話, 是真的還蠻吃香的.. 不過以工作機會來說真的CS還是占美國的大宗. 這方面我之前有一篇找工作的文^^ 有被分享過來這個版就不多贅言了.. 針對Programming Skill來說, 主文的第七,八頁可以參考一下 http://www.oreilly.com/data/free/files/stratasurvey.pdf 就我看到Data scientist工作比較少用到Matlab, 反而Python跟R比較多 Python有一些平行計算的問題, 所以見仁見智 R的話做平行計算有很多Package,當然重點就是統計方面的modeling還是R建構的比較完整. 以下是我前幾個月跟朋友討論, 我對Data Tool的一些Comment (主觀意見勿戰): 這是Strata 2013年對33個國家37個美國的州認為自己是做Data Scientist相關工作的問卷 (我猜是有在他們公司註冊的人送問卷請他們填寫的) 其中Data Tool,SQL是最高的(當然一堆公司的Data就是都放在資料庫.所以這個是基本的) SAS/SPSS做big data不知道優勢在哪, 在Strata conference我特地去聽SAS 某VP的報告.. 結果其實沒有很多人去聽他們怎麼做這方面的Infrastructure. Hadoop方面如果包含Pig, Hive應該有很大的成長工間. 不過 HIVE應該也可以跟SQL混在一起考慮才對,未來應該可以成長到第三名. Excel在第四名,有點意外,這個應該還會繼續掉才對,可能看結果才會用到..或者需要借助pivotal table分析與呈現才會用到.. 目前我不知道未來Excel可以怎麼分析big data. R跟python用的人比例差不多, 不過R比較偏向分析軟體所以Data Role用的比python Data role多,結果很make sense.. Java算不少人用,也會跟Hadoop綁在一起,因為Hadoop基本上是用Java架構出來的, 如果會Java/Python可以寫User Define Function應用更多 Mahout是machine learning/data mining針對big data建立出來的library, 我是覺得未來應該會爬到中間的位置. D3是啥包含Tableau 跟 Ruby 我有看過不過這三個東西我摸都沒摸過Orz. 基本上我覺得based on SQL language的RDB很重要加上R/Python, hadoop (pig, hive, hbase, oozie), mahout這些skill 應該可以繼續在江湖打滾很多年.. EXCEL, SAS/SPSS就....以後在這領域被淘汰的機會不小(理性勿戰) P.S 後來這幾個月, SAS好像有積極推在Yuan上面處理big data的platform, 最近他們很努力再Promote, 不過成效還是得看看, 可能板上會有人比我清楚念理論的統計數學方面, 真的就是要受到一段時間的訓練最好有人帶入門, Programming花時間去摸也多去網上看別人的sample code 會讓自己增加這方面的功力 (R 的document 資源很多我也是自己慢慢練到後來可以寫Package自己用的) 另外多去外面跟人討論, 我知道台灣其實有一些學弟妹有在經營R group, Linkedin 也有"很多"相關的group文章可以參考一下. 在NY 有一些regular events可以參加..我想別的地方應該也有.. 我比較常參加的是NY meetup http://www.meetup.com/ 例如本周有JP Morgan針對Data science的內容要做報告跟討論, 多去參加多去學習看別的Data Scientist怎麼去分析資料的參加這些都一定有很大的幫助, 不只學習也可以Social. P.S Kaggle也偶爾可以看一下,看業界釋放出哪些資料做分析統計其實占的重要性越來越大, 可以去看例如Harvard, Columbia 的GSAS Dean現在是統計人, 這都是以前沒有的! 另外文章裡面推文討論的NYU or CU哪個Data Science Program好, 其實見仁見智, 我也不便多表示意見, 畢竟有幾個老師我當過他們的TA或修過他們的課, 我覺得兩個學校的Connections都足夠,都可以幫助找到工作的只是找工作花的時間長短而已. 多念點理論讓自己了解不要亂fit model後花點時間摸一些軟體, 例如我是把R摸熟之後才開始用R去做平行計算 (Unix基本的要會) 進而學習到一些MapReduce的概念, 我一開始平行計算使用的工具是Condor/Torque, 後來慢慢的才去學Hadoop的.. 如果有機會可以學一些Java/C方面的課程我也強烈建議, 不過Data Scientist來說不是特別需要. 我可以code Java/C 可是主要就是做數學運算比較快, 不是要寫到物件導向那樣.. 讓我再選一次, 我還是覺得數學/統計這種硬理論的科學學好才是比較難訓練跟累積的, 我一樣會先去念這些課程這些讓我看新方法來說都很快可以吸收,然後多分析資料增加多一點資料的敏感度. P.S 有些不足, 我有空會再補強~不過這純粹是我的觀點也希望有人可以指出我的不足我這邊也列上我加入的幾個linked group,常有人在那邊post東西或問問題. http://ppt.cc/mQ83 (big data) http://ppt.cc/rqnH (big data) http://ppt.cc/2u6U (data scientist) http://ppt.cc/WhFR (KDnuggets Analytics, Data Mining, and Data Science) http://ppt.cc/p9D- (R Project) 當然還有一些Machine Learning的Page很多就自己google吧:) KDnuggets是算比較Active的group 我每天都會收到這個group的信... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.53.78.19 ※ 文章網址: http://www.ptt.cc/bbs/Statistics/M.1401768864.A.425.html

推

ghd123483

06/03 12:48, , 1^F

06/03 12:48, 1^F

推

gawyfish

06/03 13:21, , 2^F

06/03 13:21, 2^F

推

Yukirin

06/03 14:10, , 3^F

06/03 14:10, 3^F