[北美] big data/data engineer referral消失

看板Oversea_Job作者時間8年前 (2018/02/06 08:14), 8年前編輯推噓14(14推 0噓 22→)
留言36則, 13人參與, 最新討論串1/1
過去六年從事web開發相關的工作 PHP javascript為主 目前自學Spark/Scala 以及 hadoop kafka 半年左右 想申請關於 big data / data engineer相關的職位 預計在big data能做個兩到三年後 未來想從事 跟機器學習 或 data science的工作 因為我無大數據相關經驗 找起來真的很沮喪 若有前輩能幫我referral 或 給些建議 我人在德州 有身分 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 72.182.109.27 ※ 文章網址: https://www.ptt.cc/bbs/Oversea_Job/M.1517876051.A.F64.html
推
02/06 09:07, , 1F
web不是更好找嘛... 沒有經驗真的~非常~難找~
02/06 09:07, 1F
→
02/06 09:07, , 2F
尤其人家看到你的履歷上頭都是web 你卻投data相關
02/06 09:07, 2F
→
02/06 09:08, , 3F
一般人也是會想你到底想幹什麼
02/06 09:08, 3F
推
02/06 09:11, , 4F
再加上不是new grad 轉跑道真心不容易亞
02/06 09:11, 4F
推
02/06 10:12, , 5F
Data Science 不是只有 Spark 之類的，這只是工具，
02/06 10:12, 5F
→
02/06 10:13, , 6F
data engineer/scientist 需要會的東西也不完全相同，
02/06 10:13, 6F
→
02/06 10:13, , 7F
請樓主先想清楚自己到底想做的是哪一塊吧。
02/06 10:13, 7F
→
02/06 10:14, , 8F
如果是 DS，那學原理比學 Spark 來得重要許多。
02/06 10:14, 8F
推
02/06 10:52, , 9F
...............
02/06 10:52, 9F
推
02/06 10:54, , 10F
你是不是搞錯DS在做什麼的？
02/06 10:54, 10F
→
02/06 10:55, , 11F
隨便丟個關鍵字到Quora上找都能找到粗淺的認知了吧
02/06 10:55, 11F
→
02/06 11:08, , 12F
大家別激動 我的意思是 我想先做幾年大數據
02/06 11:08, 12F
→
02/06 11:10, , 13F
幾年後也許也想試看看DS.
02/06 11:10, 13F
推
02/06 11:45, , 14F
所以你覺得大數據是在做什麼......
02/06 11:45, 14F
Hello~ 就我的認知~ 1) 將data pipeline 管線裡的big dataset, 能夠透過distributed computing的方式, 比如使用spark or hadoop, 有效率地的運算 資料的分析 (from row data to structured data via mapreduce), then stored into better format, such as parquet, and, distributed database, such as Hbase, Cassandra, 若存在hdfs, 可將data schema存在hive matastore, 可能hive table creating時, 建立特定columns partitions, 每個partitions會存入buckets (folders),增加查詢效率. 整體來說 上面所提及的, 主要目地是, 以利日後 SQL, BI tools, datawarehouse的查詢. 查詢可透過 Hive, or Impala, or SparkSQL, etc. 2) 處理及時串流的large dataset, such as clickstream, user/product rating, fraud alert, etc. 由於來自不同的producer/consumer, downstream可以是dashboard UI, datawarehouse, 這可能需 integrate Kafka with database or Spark, 主要確保message不會流失, 以及透過Kafka streaming內部以lambda functions mapreduce先處理資料. 3) 許多big data/data engineer工作 都需 涉及 機器學習, such as product recommendation, 以現有的features and labels to build models for training/testing/cross-validating data, and prediction with different machine learning algorithm. 請前輩在指點 您認為大數據在做什麼?
推
02/06 11:53, , 15F
建議你先去大公司做一般sde, 然後找機會碰 data driven
02/06 11:53, 15F
→
02/06 11:53, , 16F
的project， 累積經驗後，在轉職。過程中可以參加一些 ml
02/06 11:53, 16F
→
02/06 11:53, , 17F
competition累積經驗。做這一塊最重要不是你會什麼工具
02/06 11:53, 17F
→
02/06 11:53, , 18F
，是domain knowledge, 你完全沒有經驗然後自學工具，很
02/06 11:53, 18F
→
02/06 11:53, , 19F
難說服別人為什麼找你？
02/06 11:53, 19F
推
02/06 14:29, , 20F
我也是寫PHP 想轉Java都找的很沮喪了.....何況是轉跑道，
02/06 14:29, 20F
→
02/06 14:29, , 21F
原PO加油！
02/06 14:29, 21F
推
02/06 20:32, , 22F
就是leehong講的那樣 在公司內做些相關的project再轉才有
02/06 20:32, 22F
→
02/06 20:32, , 23F
說服力 轉職要花點力氣並非一蹴可幾
02/06 20:32, 23F
推
02/06 22:30, , 24F
可以試試看 Allstate，之前面過，滿簡單的
02/06 22:30, 24F
※ 編輯: Mayday6 (72.182.109.27), 02/07/2018 00:04:45
推
02/07 09:45, , 25F
你現在人在 US 而且有身分，機會就大太多了，可說是天時地
02/07 09:45, 25F
→
02/07 09:45, , 26F
利人和。leeheng 的建議很好，可以看遠一點來做規劃和發展
02/07 09:45, 26F
推
02/07 14:21, , 27F
樓上的bowin是我知道的那個bowin哥嗎XD
02/07 14:21, 27F
推
02/07 15:52, , 28F
對data science來說，你講的東西都只是工具，重點是商業的
02/07 15:52, 28F
→
02/07 15:53, , 29F
domain knowledge、統計的分析手法、數字的敏感度，還有提
02/07 15:53, 29F
→
02/07 15:54, , 30F
出business solution的能力
02/07 15:54, 30F
→
02/08 19:10, , 31F
覺得比較是modeling 的能力，替公司用model從data找到
02/08 19:10, 31F
→
02/08 19:10, , 32F
淺在商業利益，你講的應該是偏 Engineer 的部分不是 DS
02/08 19:10, 32F
→
02/08 23:22, , 33F
我事先想做engineer, DS只是我後幾年的可能目標.
02/08 23:22, 33F
→
02/08 23:23, , 34F
很多工作data enginner都closely work with DS
02/08 23:23, 34F
→
02/08 23:24, , 35F
我也了解DS是另一個領域 只是提及若做DE幾年後 可能性
02/08 23:24, 35F
推
03/01 15:28, , 36F
以data engineer跟DS合作慢慢學應該也是有機會
03/01 15:28, 36F
‣ 更多 Mayday6 的文章
文章代碼(AID): #1QUFDJza (Oversea_Job)