Re: [閒聊] 為啥vivy這次這麼聽話

看板C_Chat作者 (真空管)時間3年前 (2021/05/03 22:01), 3年前編輯推噓17(18推 1噓 34→)
留言53則, 17人參與, 3年前最新討論串6/7 (看更多)
推
05/03 15:51,
除了堆砌更多沒解釋的名詞，這跟動畫的演出其實相差不大
05/03 15:51
→
05/03 15:51,
。但老實說這還是難以置信的工程壯舉吧。陽電子腦如果不
05/03 15:51
→
05/03 15:51,
是出門的時候踢到一箱圖紙／或是去火星探險的時候發現了
05/03 15:51
→
05/03 15:51,
外星人的遠古遺跡，總會有個研發的過程吧？總會從簡單的
05/03 15:51
→
05/03 15:51,
慢慢進化到複雜吧…？如果是底層的單元就有很大的不一致
05/03 15:51
→
05/03 15:51,
性，他們怎麼那麼有信心堆了幾億個之後封裝的成品動得起
05/03 15:51
→
05/03 15:51,
來？能處理輸入的指令？輸出預期中的行為？能連上其他I/
05/03 15:51
→
05/03 15:51,
O設備？難道這個世界的晶圓製造商運氣都很好…？
05/03 15:51
不好意思...手癢回一下 現在的AI其實完全符合這位朋友的疑問 現在AI主流的基本技術叫做CNN, 摺積神經網路 反正你就想像成是用一種叫做摺積的數學運算去模擬人類大腦的神經網路 更具體來說, 是用大量的摺積運算配一個啟動函數來模擬一個神經元做了甚麼事情 神經元簡單來說, 就是上一個神經元A放電去電下一個神經元B, 藉此來傳遞訊息 只要A放電夠強, B就接收的到, 反之, A受到的刺激不夠放電不夠, B就不會有反應 我們就是用數學運算配合啟動函數來模擬這個A和B溝通的過程 然後 只有A跟B兩個神經元的時候我們還可以給出嚴謹的數學證明來說明中間發生了甚麼事 但現在隨便一個CNN都上萬個神經元在互相連動 訓練過程中到底發生了甚麼事~擲筊問媽祖還比較可靠 雖然各家實驗室跟研究人員都努力給出合理的解釋來說中間到底在幹嘛 但沒有一個解釋是可以用數學證明的 很弔詭吧~? 成千上萬的數學運算堆起來竟然不能用數學去證明跟預測結果會怎樣 這就是現在的AI 確實跟去火星探險發現遠古遺跡很像 然後現在這個人類無法預測的數學運算就安裝在你各位的特斯拉車子裡幫你開車 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.159.150.171 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1620050499.A.F16.html
推
05/03 22:03, 3年前 , 1F
但這是軟體層面上我們不了解完全的原理（而且我們也沒放棄
05/03 22:03, 1F
→
05/03 22:03, 3年前 , 2F
去研究爲什麼） 寫好的東西你拿去任何相容的平臺都是能跑
05/03 22:03, 2F
→
05/03 22:03, 3年前 , 3F
的
05/03 22:03, 3F
軟體層面或硬體層面的差異不影響阿 如果你無法預測一堆碳原子堆起來會怎樣 跟你無法預測這個軟體遇到怎樣的情況會失控 兩個是一樣令人無法信任阿 但現實是 大家還是用得很開心XD
推
05/03 22:04, 3年前 , 4F
為什麼沒人願意相信量子力學的魔法 :(
05/03 22:04, 4F
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:07:15
→
05/03 22:05, 3年前 , 5F
因爲劇中的科技進步程度很難讓人覺得他們解鎖了量子運算
05/03 22:05, 5F
→
05/03 22:05, 3年前 , 6F
的科技吧
05/03 22:05, 6F
推
05/03 22:06, 3年前 , 7F
所以這就是模擬真的人腦運作方式 要是正子腦的資料能被複
05/03 22:06, 7F
→
05/03 22:06, 3年前 , 8F
製 那表示人腦也行了 但就是辦不到
05/03 22:06, 8F
跟劇中的差異在於 我們現在做的神經網路是可以複製的 因為就是一堆數學運算而已 但我們目前的AI跟劇中的AI也根本天差地別 大概就跟一顆精蟲和一個完整的人類這樣的差異一樣吧
推
05/03 22:06, 3年前 , 9F
量子力學的干擾，應該是神經元訊號在臨界點才比較顯著
05/03 22:06, 9F
→
05/03 22:07, 3年前 , 10F
因為過於微觀，神經元算是宏觀的東西了
05/03 22:07, 10F
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:10:17
→
05/03 22:08, 3年前 , 11F
簡單來說你有東西好像快想起來的時候，量子力學有機會
05/03 22:08, 11F
→
05/03 22:09, 3年前 , 12F
祝你一臂之力XD
05/03 22:09, 12F
推
05/03 22:10, 3年前 , 13F
現在的(新AI)主要是帶有隨機要素吧，藉由隨機找出新策略
05/03 22:10, 13F
→
05/03 22:11, 3年前 , 14F
但反過來說，就不像舊AI那樣可以逐步拆解了
05/03 22:11, 14F
粗略來講確實是這樣沒錯 但那個隨機過程其實只是為了補足訓練資料的不足而已 你可以想成是為了處理一些更麻煩, 也更難取得訓練資料的任務 我們就用隨機產生的亂數充當訓練資料 然後把真的有幫助到訓練的隨機亂數存下來 追根究柢~其實只是訓練策略比較高明而已 不是神經網路的設計進步 ※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:15:00
推
05/03 22:13, 3年前 , 15F
事實上 NTK理論已經可以解釋類神經網路的效果跟訓
05/03 22:13, 15F
→
05/03 22:13, 3年前 , 16F
練過程發生啥事了 還可以不用訓練就知道訓練完的理
05/03 22:13, 16F
→
05/03 22:13, 3年前 , 17F
論預測值
05/03 22:13, 17F
推
05/03 22:14, 3年前 , 18F
人類到現在還不知道意識從何而來怎麼複製
05/03 22:14, 18F
→
05/03 22:14, 3年前 , 19F
我可以簡單的跟你說類神經網路只是種Gaussian proc
05/03 22:14, 19F
→
05/03 22:14, 3年前 , 20F
ess
05/03 22:14, 20F
這個嘛...說實話~我沒接觸過NTK 不過我剛簡單看了一下2018那篇paper 這似乎最多只能說明我們的訓練方式是能收斂的而不會徒然浪費時間 因為我乍看之下證明過程中似乎沒考慮到訓練資料的差異 所以應該還沒辦法在訓練前就知道訓練效果如何吧 而且這個研究只考慮最原始的ANN 顯然還無法回答為什麼CNN會比ANN優異那麼多 然後一堆沒道理的skip connection為什麼會有幫助 不過我還沒有全部看完~ 如果哪裡有錯~還請幫忙指正QQ ※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:28:44
→
05/03 22:28, 3年前 , 21F
CNN翻譯應該是卷積神經網路吧，純粹想吐槽這點
05/03 22:28, 21F
支語警察認真如我~一定馬上回答你這個問題XD https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF ※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:30:38
推
05/03 22:30, 3年前 , 22F
你看的那篇只是開始 後面CNTK RNTK 等架構都證明
05/03 22:30, 22F
→
05/03 22:30, 3年前 , 23F
出來了
05/03 22:30, 23F
→
05/03 22:31, 3年前 , 24F
NTK 他的特性是data independent的
05/03 22:31, 24F
→
05/03 22:32, 3年前 , 25F
你要算結果只要把t 設無限就等於train 完 (收斂
05/03 22:32, 25F
進度這麼快QQ 不過data independent不太合理吧? 實作上很明顯好的訓練資料跟差的訓練資料做起來就是有差啊 不然照這樣來說, 我只要有無限的時間跟計算資源 就算訓練資料全部丟隨機亂數下去跑~最後也能訓練出表現很好的NN嗎?? ※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 22:34:36
→
05/03 22:33, 3年前 , 26F
你要train到一半的預測值都有 改t就可以了
05/03 22:33, 26F
→
05/03 22:34, 3年前 , 27F
connection是讓每次feed forward過程 近似GP
05/03 22:34, 27F
→
05/03 22:34, 3年前 , 28F
所以越寬越逼近真正的高斯分佈 神經網路就越強
05/03 22:34, 28F
→
05/03 22:35, 3年前 , 29F
你那是inference 的時候才要丟資料
05/03 22:35, 29F
→
05/03 22:36, 3年前 , 30F
NTK是種kernel methods
05/03 22:36, 30F
→
05/03 22:36, 3年前 , 31F
他的kernel function 是建立在一個Target network
05/03 22:36, 31F
→
05/03 22:36, 3年前 , 32F
的
05/03 22:36, 32F
→
05/03 22:37, 3年前 , 33F
你要看網路越寬的好處 可以去查 double descent
05/03 22:37, 33F
→
05/03 22:38, 3年前 , 34F
這一套理論你看完 會對類神經網路有更進一步了解
05/03 22:38, 34F
→
05/03 22:39, 3年前 , 35F
需要相關論文可以站內 我研究蠻多的
05/03 22:39, 35F
已私~~
推
05/03 22:51, 3年前 , 36F
請問……這裡是哪裡……@@
05/03 22:51, 36F
推
05/03 23:13, 3年前 , 37F
holo的靈壓
05/03 23:13, 37F
※ 編輯: vacuityhu (49.159.150.171 臺灣), 05/03/2021 23:49:03
推
05/04 01:35, 3年前 , 38F
我懂了。樓下的各位都懂了嗎？
05/04 01:35, 38F
推
05/04 01:55, 3年前 , 39F
跟我十年前想的結果一樣
05/04 01:55, 39F
推
05/04 02:05, 3年前 , 40F
我都稱那個過程為黑箱，問媽祖讓我笑了
05/04 02:05, 40F
推
05/04 02:51, 3年前 , 41F
嗯嗯 跟我想的一樣
05/04 02:51, 41F
推
05/04 05:22, 3年前 , 42F
這篇先收藏 搞不好以後報告用得到
05/04 05:22, 42F
推
05/04 10:05, 3年前 , 43F
alphago工程師就有講他們完全不知道阿發狗是怎麼推理
05/04 10:05, 43F
→
05/04 10:05, 3年前 , 44F
棋局的
05/04 10:05, 44F
噓
05/04 13:43, 3年前 , 45F
CNN翻譯是卷積類神經網路
05/04 13:43, 45F
→
05/04 13:44, 3年前 , 46F
https://terms.naer.edu.tw 網址貼不上來你自己查
05/04 13:44, 46F
推
05/04 13:53, 3年前 , 47F
補推 然後像CNN比ANN優異這句話其實是假的
05/04 13:53, 47F
→
05/04 13:54, 3年前 , 48F
只是參數被constraint比較好訓練
05/04 13:54, 48F
→
05/04 13:55, 3年前 , 49F
skip connection也是為了限制讓前面的layer可以在後面
05/04 13:55, 49F
→
05/04 13:56, 3年前 , 50F
也被參考 當初這些架構會被propose出來都是有想改善
05/04 13:56, 50F
→
05/04 13:56, 3年前 , 51F
的方向 沒有像你說的都是黑盒子那麼誇張
05/04 13:56, 51F
→
05/04 13:57, 3年前 , 52F
真要比的話你我的大腦還比較像黑盒子 但大家卻很習慣
05/04 13:57, 52F
推
05/04 14:44, 3年前 , 53F
不明覺厲， 有入門的東西可以了解嗎
05/04 14:44, 53F
‣ 更多 vacuityhu 的文章
文章代碼(AID): #1Wa093yM (C_Chat)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 6 之 7 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共7篇)
‣ 更多 vacuityhu 的文章
文章代碼(AID): #1Wa093yM (C_Chat)