Re: [請益] 先工作還是先唸書

看板Soft_Job作者 (Sidney0503)時間8年前 (2018/02/14 17:24), 8年前編輯推噓22(22推 0噓 67→)
留言89則, 7人參與, 8年前最新討論串4/5 (看更多)
※ 引述《hsiaotzu0505 (走啦走啦)》之銘言： : 回朔以往的學習經驗， : 覺得「整理數據，得到有用結果」的過程很吸引我， : 但是已對純物理學術研究沒有興趣，也對半導體產業沒什麼興趣。 既然你是物理出生 想必數學能力是屌打資工出生的 你所謂的整理數據得到有用的結果 就是現在最熱門的Deep learning阿 從Big Data以來發展出的 data mining技巧 接著出現讓機器從資料學習的machine learning技術 反正你對python有興趣 可以嘗試實作一些常見基本工具 比如說Multilayer perceptron、convolutional neural network之類的可以更有感覺 : Q:各位前輩覺得數據分析師是什麼樣的工作，擁有什麼樣的生活呢？是否能從什麼方面推 : 敲自己是否適合這樣的工作？ 今天才有八卦版問數學家的生活如何 簡單說很爽阿 不用出勞力 待在電腦前動動腦和打打code而已 而且軟工經驗豐富的人 平均想10~20分鐘才打一行code -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.113.250.42 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1518600293.A.D9B.html
→
02/14 18:49, 8年前 , 1F
坐電腦前 半小時吃一個甜甜圈
02/14 18:49, 1F
推
02/14 20:10, 8年前 , 2F
你要整理什麼數據?除了物理之外,你有什麼專長?
02/14 20:10, 2F
→
02/14 20:11, 8年前 , 3F
資料分析要做得好,不是只有懂分析,還要有domain knowlege
02/14 20:11, 3F
推
02/14 21:18, 8年前 , 4F
依照Andrew Ng的說法 domain knowledge也會不重要啦
02/14 21:18, 4F
推
02/14 21:50, 8年前 , 5F
大數據炒得太過頭了,domain knowledge不重要?
02/14 21:50, 5F
→
02/14 21:50, 8年前 , 6F
先看看machine learning 是不是真的'學到'什麼東西
02/14 21:50, 6F
推
02/14 21:57, 8年前 , 7F
沒domain knowledge的話,送一堆圾圾來做machine learn也不
02/14 21:57, 7F
→
02/14 21:58, 8年前 , 8F
知道.
02/14 21:58, 8F
推
02/15 01:53, 8年前 , 9F
在資料分析domain knowledge開始變不重要就是大數據啊
02/15 01:53, 9F
→
02/15 01:54, 8年前 , 10F
恰好NN的強項就在於你送一堆垃圾 只要裡面真的有有用
02/15 01:54, 10F
→
02/15 01:54, 8年前 , 11F
的數據 他還是能學得不錯
02/15 01:54, 11F
很抱歉ML第一件事就是Training Error < Testing Error 送一堆垃圾跟就亂教小朋友一樣 會學到奇怪的東西 你的能學得不錯應該是指Autoencoder之類的架構 但是那只能小幅度抗噪 而且主要功能只是資料壓縮到較小的維度 decoder接到最後的ouput還是受Training Error限制 Deep Learning近年起來就是因為Training要三個要素在同期完成 1. 優良且大量的訓練資料 光是做好data set都可以是一篇paper的主要貢獻了 2. GPGPU硬體 近年才有足夠強大的硬體處理如此龐大的資料 3. 數學模型 這塊領域也是近年才完全成熟
推
02/15 09:23, 8年前 , 12F
當你連垃圾還是有用資料都不會分時,確定有送進有用的東西?
02/15 09:23, 12F
→
02/15 09:25, 8年前 , 13F
垃圾就是垃圾,送進太多絕對還是會影響結果,大數據不是大就
02/15 09:25, 13F
→
02/15 09:26, 8年前 , 14F
好,你送進一堆垃圾就是在增加運算量及減少準確率.
02/15 09:26, 14F
推
02/15 14:42, 8年前 , 15F
你好像沒看到我的前提 "裡面真的有有用的數據"
02/15 14:42, 15F
training error一開始3%是一開始就知道這些收好的資料是正確的 那又何來一堆垃圾? 還是你以為training可以一開始error50%訓練完testing error可以3%?
推
02/15 14:44, 8年前 , 16F
你要知道你送的是不是垃圾從error就知道了
02/15 14:44, 16F
不知道是誰說送一堆垃圾可以學得不錯
→
02/15 14:45, 8年前 , 17F
難道你看到error發現feature是垃圾還不懂得拿掉?
02/15 14:45, 17F
→
02/15 14:45, 8年前 , 18F
還有數學模型很老了好嗎...
02/15 14:45, 18F
原來2014年才出來的GAN是老模型阿 煩請閣下教敝人最新的模型是什麼?
→
02/15 14:47, 8年前 , 19F
你在講什麼東西...我輪流放feature不就知道誰垃圾
02/15 14:47, 19F
→
02/15 14:48, 8年前 , 20F
domain knowledge可以提早不用training就知道誰垃圾
02/15 14:48, 20F
→
02/15 14:48, 8年前 , 21F
哈哈你還扯GAN 現在最有貢獻的DL是GAN嗎?
02/15 14:48, 21F
→
02/15 14:49, 8年前 , 22F
你廣告推薦用GAN做?
02/15 14:49, 22F
→
02/15 14:49, 8年前 , 23F
寫得不太對 不應該說貢獻 而是說經濟產值
02/15 14:49, 23F
→
02/15 14:50, 8年前 , 24F
學得不錯不代表學得最好啊 邏輯?
02/15 14:50, 24F
你一開始說NN可以送一堆垃圾能學到東西 剛剛又說發現feature是垃圾還不懂得拿掉 所以到底要送是不送搞得我很亂啊 然後說數學模型很老 發現GAN很新馬上改口提貢獻
→
02/15 14:50, 8年前 , 25F
原本在資料量大下相對robust就是NN強項不是常識嗎
02/15 14:50, 25F
→
02/15 14:51, 8年前 , 26F
我也沒說NN無敵啊 但andrew ng就是說以現在的發展
02/15 14:51, 26F
→
02/15 14:51, 8年前 , 27F
來說這些domain knowledge的東西會漸漸都被取代掉
02/15 14:51, 27F
→
02/15 14:52, 8年前 , 28F
你可以送慢慢拿掉啊 邏輯? 資料分析第一反應是GAN?
02/15 14:52, 28F
→
02/15 14:53, 8年前 , 29F
我都不懂你到底對資料分析是想用在哪裡了
02/15 14:53, 29F
說數學模型很老 提一個新的又說沒用 邏輯?
→
02/15 14:54, 8年前 , 30F
所以你對資料分析第一反應是GAN 笑死
02/15 14:54, 30F
→
02/15 14:55, 8年前 , 31F
人家就是想做現在市面上的資料分析 然後這方面的數學
02/15 14:55, 31F
是阿是阿 說別人的數學模型很老 自己提了一個198X年就有得模型 邏輯?
→
02/15 14:56, 8年前 , 32F
模型很老沒錯啊 然後你說GAN很新 還真的很會跳
02/15 14:56, 32F
還有 17 則推文
還有 4 段內文
→
02/15 16:03, 8年前 , 50F
我其實前面在說的就只是這麼簡單的事情
02/15 16:03, 50F
→
02/15 16:05, 8年前 , 51F
所以是不是垃圾你train的時候就能發現 回頭拔feature
02/15 16:05, 51F
→
02/15 16:05, 8年前 , 52F
我是覺得蠻直觀的啊
02/15 16:05, 52F
推
02/15 16:07, 8年前 , 53F
當然其實他講的這塊我是認為大部分在描述supervised
02/15 16:07, 53F
推
02/15 16:07, 8年前 , 54F
即使machine learning的模型準確率高,也不代表真的有學到
02/15 16:07, 54F
→
02/15 16:08, 8年前 , 55F
有意義的東西,如何選擇feature本來就是門學問,
02/15 16:08, 55F
→
02/15 16:09, 8年前 , 56F
一堆機器學習論文根本都繞著準確率在打轉,但到底學到什麼卻
02/15 16:09, 56F
→
02/15 16:10, 8年前 , 57F
沒有解釋.
02/15 16:10, 57F
→
02/15 16:11, 8年前 , 58F
為什麼?不就一堆人沒有domain knowledge,拿到資料就先做,
02/15 16:11, 58F
推
02/15 16:11, 8年前 , 59F
是啊 所以現在其實有些論文的開始朝這部分的metric
02/15 16:11, 59F
→
02/15 16:12, 8年前 , 60F
去分析 但是其實只有部分問題可以做
02/15 16:12, 60F
→
02/15 16:12, 8年前 , 61F
有好的結果就發表,但這東西能不能用?有沒有意義都沒法回答.
02/15 16:12, 61F
→
02/15 16:12, 8年前 , 62F
說實在的很多feature有用也是事後解釋
02/15 16:12, 62F
推
02/15 16:17, 8年前 , 63F
事後解釋沒有關係,重點還是要有domain knowledge才有辨法..
02/15 16:17, 63F
→
02/15 16:18, 8年前 , 64F
不然做了一個準確率很高的模型,結果被內行人笑說沒意義...
02/15 16:18, 64F
推
02/15 16:19, 8年前 , 65F
有沒有意義是test說話 不是內行人說沒意義就沒意義吧
02/15 16:19, 65F
→
02/15 16:19, 8年前 , 66F
就我懂的領域,就看過不少預測的feature根本就common sense.
02/15 16:19, 66F
→
02/15 16:21, 8年前 , 67F
一個說血糖值預測糖尿病很準的模型有什麼意義?
02/15 16:21, 67F
→
02/15 16:21, 8年前 , 68F
比如你可能做了一個人類覺得非常合理的模型
02/15 16:21, 68F
→
02/15 16:21, 8年前 , 69F
可是一堆純資工人卻做的很高興.
02/15 16:21, 69F
→
02/15 16:21, 8年前 , 70F
喔...你說的那個已經是不同的問題了
02/15 16:21, 70F
推
02/15 16:24, 8年前 , 71F
那有什麼不同,就是domain knowledge不會不重要,起碼可減少
02/15 16:24, 71F
→
02/15 16:24, 8年前 , 72F
做笨事的機會....
02/15 16:24, 72F
推
02/15 16:24, 8年前 , 73F
阿法狗表示：他們在爭甚麼
02/15 16:24, 73F
推
02/15 16:25, 8年前 , 74F
在爭下棋以外的東西...
02/15 16:25, 74F
→
02/15 16:28, 8年前 , 75F
阿法狗現在在練星海 也在做醫療學習
02/15 16:28, 75F
推
02/15 16:28, 8年前 , 76F
但是請domain knowledge的價格跟import keras價格不同
02/15 16:28, 76F
→
02/15 16:29, 8年前 , 77F
請個import keras的慢慢從現有feature挑 以現在的計算
02/15 16:29, 77F
→
02/15 16:31, 8年前 , 78F
資源來說也許還比較值得
02/15 16:31, 78F
→
02/15 16:32, 8年前 , 79F
我覺得前處理比較式微 但是NN架構怎麼串比較有用
02/15 16:32, 79F
推
02/15 16:32, 8年前 , 80F
跟樓上說的一樣 現在就一堆資料訓練師 聽起來很帥
02/15 16:32, 80F
→
02/15 16:32, 8年前 , 81F
比如可以知道哪個資料該串去哪一層比較合理之類的
02/15 16:32, 81F
→
02/15 16:33, 8年前 , 82F
阿發現在星海不是蠻弱的 不過應該還是贏我
02/15 16:33, 82F
→
02/15 16:33, 8年前 , 83F
我怎麼記得GOOGLE有一支是可以寫NN的AI
02/15 16:33, 83F
→
02/15 16:33, 8年前 , 84F
選擇layer的接法比人做出來的還好
02/15 16:33, 84F
→
02/15 16:33, 8年前 , 85F
資工人怎麼老是努力讓自己失業
02/15 16:33, 85F
→
02/15 16:34, 8年前 , 86F
最近reinforcement也越來越潮啊 各種減少訓練時間
02/15 16:34, 86F
→
02/15 16:35, 8年前 , 87F
所以AI大成第一個失業的就是寫AI的
02/15 16:35, 87F
→
02/15 16:56, 8年前 , 88F
這年代口號最重要，其他都假的 搞老半天沒人失業
02/15 16:56, 88F
推
02/15 22:46, 8年前 , 89F
各種炒作 等著搓泡泡
02/15 22:46, 89F
‣ 更多 Sidney0503 的文章
文章代碼(AID): #1QX01bsR (Soft_Job)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 4 之 5 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共5篇)
‣ 更多 Sidney0503 的文章
文章代碼(AID): #1QX01bsR (Soft_Job)