Re: [問卦] 為什麼AI 這2-3年進步這麼神速？

看板Gossiping作者 (達克鴨)時間3月前 (2024/02/17 17:19), 3月前編輯推噓21(21推 0噓 13→)
留言34則, 27人參與, 3月前最新討論串5/8 (看更多)
我剛好研究所讀資工領域的。 你應該知道在這次AI大模型震撼世人之前，電腦科學界在紅啥嗎?? 就是Big Data，大數據，資料探勘。 但是因為"算力"不足，所以在十年前，幾乎都是關注於儲存與基礎處理而已。 譬如NoSQL數據庫與一些簡單的資料探勘，那個時候SVM分析歸類資料可火的。 就是用一些通用數學演算法把資料分群分類，但也就這樣。 並不能"生成"。 這個時候Deep learning的基礎原理其實十年前就已經有了，說到更早的多層神經網路， 甚至是50年前的事情，那為什麼現在才爆發，其實也就是硬體總算跟上了。 量變產生質變，大力出奇蹟，自我加速迭代改進。 你看一下他們的參數是如何巨量成長的： GPT-1： 發布於2018年，約有1.17億個參數。 GPT-2： 發布於2019年，提供了不同版本的模型，其中最大的版本有15億個參數。 GPT-3： 發布於2020年，具有1750億個參數，是當時最大的語言模型之一。 ChatGPT： 發布於2022年，將GPT語言模型用強化學習回饋訓練成人類喜好的聊天機器人。 GPT-4： 發布於2023年，據說有1.8兆個參數。 這就是量變產生質變，大力出奇蹟的威力。 也要歸功於老黃的GPU才能讓"大數據"變成"AI大模型" 十年前大數據可透過資料探勘變成資訊。 現在大數據透過AI訓練則可以變成AI大模型，也就是智慧。 這次的sora其實也差不多，用的是Diffusion Model為基礎，去年也都有網站公開展示了。 http://tinyurl.com/78tezvev 但OpenAI啥沒有，算力最多，我用更大的算力去處理數據， OpenAI還有什麼？GPT-4，我用GPT-4把影像的tag的訓練集， "生成"能更仔細描述影片的長文，甚至用生成的影片再訓練。 這也就是AI的自我加速迭代改進，也就是一些AI加速主義者，奇點的成因。 你看看從一年間從威爾史密斯吃麵到現在吃漢堡的改進有多驚人 https://twitter.com/newsNZcn/status/1759150630470599150 所以現在能夠抵擋AI指數成長的限制器大概就剩下GPU與能源了。 大家好自為之。 ==== 反觀區塊鏈的Blockstream不用GPU與能源，自己用blocksize把自己限制住。 真是幹他媽的。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.236.237.31 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1708161575.A.D09.html
推
02/17 17:21, 3月前 , 1F
認真文先推一把
02/17 17:21, 1F
推
02/17 17:22, 3月前 , 2F
這樣看來硬體無限 所以要投資nv跟核能
02/17 17:22, 2F
→
02/17 17:24, 3月前 , 3F
區塊鍊到底要幹嘛用的...
02/17 17:24, 3F
就被限制死了啊，所以當然是無用電子訊號，1MB區塊我也不知道能幹嘛 https://jochen-hoenicke.de/queue/#BTC,24h,weight 給你看看被拘束器限制住的永恆的mempool，大家都在排隊，哈哈哈~~~ https://cryptostreets.io/v/btc
→
02/17 17:24, 3月前 , 4F
所以AI就是比賽誰買到的GPU最多就贏ㄇ
02/17 17:24, 4F
→
02/17 17:24, 3月前 , 5F
區塊鍊的概念很屌耶，不過被炒過頭ㄌ
02/17 17:24, 5F
推
02/17 17:25, 3月前 , 6F
都是騙局 AI沒應用 核能會爆炸 豪可怖
02/17 17:25, 6F
推
02/17 17:27, 3月前 , 7F
我有用gpt4 每天都看到共用的人在用ai工
02/17 17:27, 7F
→
02/17 17:28, 3月前 , 8F
作 繪圖寫文案寫程式還有算數學題 超扯
02/17 17:28, 8F
推
02/17 17:28, 3月前 , 9F
推
02/17 17:28, 9F
推
02/17 17:32, 3月前 , 10F
2017年Google的Transformer論文是關鍵
02/17 17:32, 10F
的確是演算法的關鍵，但硬體也要指數成長才能有用。 不過當初發表的Google坐擁強大硬體優勢卻沒看到，真的是老了。 ※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/17/2024 17:34:45
推
02/17 17:36, 3月前 , 11F
推
02/17 17:36, 11F
推
02/17 17:38, 3月前 , 12F
推 大師請問再過10年 AI 會有情緒嗎
02/17 17:38, 12F
你可以直接去問Neuro-sama會比較準 https://www.youtube.com/@Neurosama/videos
推
02/17 17:39, 3月前 , 13F
天網還有多久出來?!
02/17 17:39, 13F
推
02/17 17:51, 3月前 , 14F
還有一個原因 找到一個參數越多表現越
02/17 17:51, 14F
→
02/17 17:51, 3月前 , 15F
好的AI模型
02/17 17:51, 15F
推
02/17 18:00, 3月前 , 16F
每錯 你各位耗子尾汁
02/17 18:00, 16F
→
02/17 18:07, 3月前 , 17F
距離通用ai還要多久阿？
02/17 18:07, 17F
→
02/17 18:09, 3月前 , 18F
ai 到底什麼時候可以應用到自動控制
02/17 18:09, 18F
我不知道是什麼領域的自動控制，但現代AI是種"黑箱"。 假如是要求高度安全性與穩定性的自動控制通常不敢貿然採用
→
02/17 18:12, 3月前 , 19F
特斯拉玩了那麼久都搞不好自動駕駛
02/17 18:12, 19F
→
02/17 18:12, 3月前 , 20F
看來要被其他AI公司取代了 嘻嘻
02/17 18:12, 20F
→
02/17 18:16, 3月前 , 21F
為什麼感覺ai用在醫學腳步很慢?
02/17 18:16, 21F
一直都有用在輔助判斷上面，譬如影像判讀。 但不可能取代醫師，因為法律問題要有人負責。 跟藥師也可以完全被AI與包藥機取代一樣。 基礎研究的部分倒是早就大量採用AI去研發藥物了。
→
02/17 18:18, 3月前 , 22F
法規先定好就可以 就像自動駕駛LV1-5分級
02/17 18:18, 22F
→
02/17 18:19, 3月前 , 23F
醫學同樣用法規 讓使用者簽同意書就好
02/17 18:19, 23F
推
02/17 18:25, 3月前 , 24F
AI能生成A片的時候再叫我
02/17 18:25, 24F
我都用NAI3生成A漫，自產自用，劇情無限制。
推
02/17 18:41, 3月前 , 25F
推加密貨幣板主
02/17 18:41, 25F
推
02/17 19:05, 3月前 , 26F
認真文推推
02/17 19:05, 26F
推
02/17 19:22, 3月前 , 27F
推版主
02/17 19:22, 27F
推
02/17 19:51, 3月前 , 28F
幫推
02/17 19:51, 28F
※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/17/2024 20:12:02
推
02/17 21:43, 3月前 , 29F
推
02/17 21:43, 29F
推
02/18 01:02, 3月前 , 30F
推
02/18 01:02, 30F
推
02/18 01:13, 3月前 , 31F
推
02/18 01:13, 31F
推
02/18 01:27, 3月前 , 32F
看到sora 真的會顛覆很多產業
02/18 01:27, 32F
推
02/18 01:31, 3月前 , 33F
數據驅動模型最大致命傷在於沒學過的知
02/18 01:31, 33F
→
02/18 01:32, 3月前 , 34F
識 你不能期待它可以給出可靠的結果
02/18 01:32, 34F
※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/18/2024 18:21:37 ※ 編輯: DarkerDuck (36.236.237.31 臺灣), 02/18/2024 18:37:46
‣ 更多 DarkerDuck 的文章
文章代碼(AID): #1bq7edq9 (Gossiping)
討論串 (同標題文章)
完整討論串 (本文為第 5 之 8 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共8篇)
‣ 更多 DarkerDuck 的文章
文章代碼(AID): #1bq7edq9 (Gossiping)