Re: [請益] 中壢資策會開資料分析師養成班

看板Soft_Job作者 (鴻)時間10年前 (2015/05/28 00:00), 編輯推噓4(405)
留言9則, 4人參與, 最新討論串3/4 (看更多)
自己應該屬於白老鼠等級,但看師資變化,有變化,但好的還在,所以猜想還可以去評論 先自介與感謝 感謝Hadoop界的所有前輩與王老師,如我有弄錯的地方,務必糾正我,感激生命。 T大非資工資管科系畢業,唸到高統,以為可以玩分析,入行才發現是個屁。 從鳥鳥analysis → 開始嘗試做developer → 被抓去接觸Admin 每天含假日工作與自我進修大概花上10-12Hr,還是覺得Hadoop很深很廣,很難成為專家 要投入這行,務必想清楚,活脫就是個大坑。 先在做很基礎的analysis 、bi 及 一點點poc 把所有教授跟國科會計畫預算資料用爬蟲抓下來,再使用中文切詞,然後視覺化 把某公司的線上客服訊息用中文切詞,然後用分群把幾種情境挑出來給適當的客服人員 自己嘗試拿樂透去做推薦系統等等 感覺Hadoop時代的資料分析並不純然靠統計,自己要走的話,還有很長一段路要走, 跳槽 開始全心接觸Developer與admin,好好讀programming in scala,寫mapreduce跟spark 然後自己去try 建 Apache hadoop ecosystem 跟 研讀configuration 摸過一點sqoop 1、flume(未來預計研讀flaka)、 RHadoop hive (建置hive server 2, metastore用mySQL另外做一台),Hadoop HA(QJM) 建置HBase(使用自行搭建的zookeeper),建置Spark,玩sparkSQL、Streaming等等 hadoop的三種工作排程fifo 公平 容量排程、安全性kerberos、瓶頸在硬碟跟網速 hive的partition跟bucket,HBase的flush、memstore split發生時機 到Spark的DAGScheduler、TaskScheduler、BlockManager、 效能優化得在partition上費點心、checkpoint、cache及效能瓶頸在於cpu跟記憶體間的 交換速度等。 其實還有很多東西沒講跟沒讀完,講這些只是想要讓讀者先知道Hadoop的廣度跟複雜度 再來談這個班 這個班就目前市場需求來看是蠻有市場的,老師也不錯,但還是隔靴搔癢 出去,要變成即戰力,根本不可能,還得繼續磨,如果想爽爽過,就別進來了。 因為Hadoop太廣太深了。 認為Hadoop可以分成管理、開發、分析 三個職能, 這個課程三塊都會提到一點 認為有三種族群是比較適合來這個課程,但也可以看成是一種族群。 第一 有極度熱情、並且對於管理、開發有興趣,但完全沒經驗的。 第二 有極度熱情、分析本來就有一定能力,但程式能力還不夠的,可來精進。 第三 有極度熱情,想學的人 新人薪水的部分,Range很廣,有38000-5xxxx不含加班費 但千萬不要為了錢進來這領域, 要真心考慮自己是不是適合這一個領域 花同樣的時間,你可能已經在某一個領域有一定的基礎, 但花在Hadoop, 我覺得基本上可能一萬小時還嫌不夠。 最後用一句話來表示我跟同行的玩笑話與看法 多想兩分鐘,你可以不要跳天坑。 ※ 引述《joshua25 (??????????????????????)》之銘言: : 我目前就在這個班上課 : 大概說一下情況 : 課程的設計上主要是針對完全沒有相關背景的人(非資訊相關也不會coding) : 會先從基礎的java、物件導向程式設計、關聯式資料庫 : 與網頁(html,js,css,html5,svg,jquery)開始教 : 學網頁的目的是分析完的資料目前主要是以網頁來做視覺化(例如: D3.js等) : 之後會開始上統計、Data Mining、ETL、R、Linux、Hadoop、NoSQL與商業智慧的概論等 : 最後兩個月會以做專題為主 : 以你的情況的話,我的想法是 : 如果真的對資料分析有興趣或未來想成為資料科學家(Data Scientist)的話 : 這個班應該是蠻適合入門的一個班 : 就業的話,如果仔細上人力銀行找,其實有不少的職缺是跟這個有關 : 學長姐的就業狀況,片面了解應該有一部分人是從事相關產業的工作 : 應該是不用擔心找不到工作的問題 : 因為畢業人數少,最近才成立社群來交流 : 資料分析的領域很廣,除了有資料分析能力外,還要會coding, : 更重要的是Domain Knowledge : 所以課程上老師都只能帶你入門,要專精的話還需要投入時間自己去實作與磨練 : 整體來說,來上課的老師,基本上都蠻有經驗的,人也不錯, : 有很多問題都可以請教與交流,老師也都樂於解答與給意見 : 希望對你有幫助! : 如果真的有興趣的話,可以直接去參加說明,可以當面問資策會的人 : ※ 引述《NetJimmy (阿壹)》之銘言: : : 小弟大學機械,研究所工管畢 : : 念研究所的時候做Data Mining相關的研究 : : 那時候覺得能夠透過演算法來預測一些事情還蠻有趣的 : : 不過本身coding能力沒有很強所以畢業後沒找到相關工作 : : (大部分都要資訊背景) : : 自己對這方面還是蠻有興趣的 : : 資策會有個資料分析師養成班 : : http://chungli2.iiiedu.org.tw/chungli/index.php/career/bigdata : : 相較其他的班,這個班好像才開一年多左右,板上也找不到資料 : : 不知道有沒有這在就讀或已經畢業的學長姐能夠分享這個班的就業情況怎麼樣呢? : : 真的能找到作資料分析的工作嗎? : : 還是會被找去做Web或App結果又發現寫不贏其他班的人 : : 謝謝! -- 莫待無花空折枝。因此折了一枝長在語言中心旁的聖誕紅,一枝不是我的聖誕紅。 其實世間又有多少東西是屬於自己的? 或許做人本來就是一頭霧水,身邊屬於自己的一切,以為是自己的,其實我永遠都抓不住 。朋友、愛情、健康、財富、夫妻、生命通通都是一頭霧水。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.52.19 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1432742457.A.7CD.html

05/28 00:13, , 1F
推一個 有沒有私下交流的管道呢?
05/28 00:13, 1F

05/28 03:01, , 2F
老實說, 現在聽到還在用hadoop處理big data的我就pass了
05/28 03:01, 2F

05/28 03:01, , 3F
處理big data的人現在只要碰過Spark就完全回不去了
05/28 03:01, 3F

05/28 09:31, , 4F
推! 熱忱很重要!!
05/28 09:31, 4F

05/29 00:54, , 5F
spark 底下還是會接 hdfs和 hive會點 hadoop還是必要
05/29 00:54, 5F

05/29 00:54, , 6F
05/29 00:54, 6F

05/29 00:56, , 7F
只是差在不用寫 java的 mr. 或pig什麼的 kafka前端接
05/29 00:56, 7F

05/29 00:56, , 8F
資料回來的那端也還需要用
05/29 00:56, 8F

05/29 00:57, , 9F
系統追不完 但是分析本質還是要顧好
05/29 00:57, 9F
文章代碼(AID): #1LPUevVD (Soft_Job)
討論串 (同標題文章)
文章代碼(AID): #1LPUevVD (Soft_Job)