Re: [請益] Big data(ML)與Robotics領域在台灣的發展

看板Soft_Job作者dryman (dryman)時間10年前 (2014/05/26 01:37)推噓5(5推 0噓 7→)

留言12則, 8人參與討論串2/4 (看更多)

現在台灣許多人對big data的認知似乎把big data跟data science混在一起了連張善政都說要用big data來當作教育方針參考... 如果你的資料真的是big data等級那從原始data到真的能進行分析，有一段非常長的距離如果你的資料不需要處理就能進行分析，那他的量絕對沒有到big data那麼大我現在在一家線上廣告公司 (不是google）工作工作剛好就是hadoop platform engineer 這家公司每日進來的raw data有好幾TB 我們這組的主要工作就是除去重複的資料將相關的event放在一起(ad impression / ad click) 產生可以向客戶收費的報表，封存等等封存後的資料，才有data scientist去試著撈資料作研究通常撈的只能是很小一塊的資料，因為量真的太大了... 在傳統的database engineering中，就是所謂的ETL (Extract Transform Load) * * * 我想表達的是，big data engineer != data science 儘管我自己也有學一些ML相關的課，但在big data上面目前無暇用到同理，想做data science不需要是 big data 要考慮的是，data science從研究到能推出產品的週期很長要看公司願不願意投資長線研發這類型的產品我覺得這才是在台灣覓職所需要考慮的主要因素 * * * 最後想吐槽一點小事情包含美國，很多data scientist都想學hadoop 但這真的不必要因為他們最後都是在select ... from table; 連sum/count都沒有用都是把資料用select拿出來後再自己用python去count 這樣能處理的資料是能有多大= =" -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 108.205.154.164 ※ 文章網址: http://www.ptt.cc/bbs/Soft_Job/M.1401039442.A.C88.html

推

damody

05/26 02:00, , 1^F

05/26 02:00, 1^F

→

damody

05/26 02:00, , 2^F

05/26 02:00, 2^F

推

pttnews

05/26 10:03, , 3^F

05/26 10:03, 3^F