Re: [新聞] 台版ChatGPT雛型曝光 國科會用4個月秀TAIDE初階成果

看板Gossiping作者 (charlesgg)時間11月前 (2023/06/14 20:37), 編輯推噓1(104)
留言5則, 4人參與, 11月前最新討論串3/3 (看更多)
※ 引述《Waitaha (行人地獄)》之銘言: : 1.媒體來源: : 自由時報 : 2.記者署名: : 記者吳柏軒/台北報導 : 3.完整新聞標題: : 台版ChatGPT雛型曝光 國科會用4個月秀TAIDE初階成果 : 4.完整新聞內文: : 美國Open AI去年秀ChatGPT引發人工智慧(AI)浪潮,我國國科會今年2月宣布要推台 : 的生成式AI模型,耗時4個月今(14日)宣布第一階段成果,目前已投入70億個參數量 : 針對繁體中文訓練,實測已達自動摘要、翻譯文本、寫信與寫文章,都有不錯表現,並 : 度透露相關計畫經費約2到3億元,年底前希望釋出更大模型,推向商業應用。 : 國科會主委吳政忠表示,今年2月宣布要推動「可信任AI對話引擎」(簡稱TAIDE),集 : 產官學研、公私協力下,眾人力量紛紛無私奉獻,不少義工加入,加上國網中心超級電 : 算力一半拿出來支持,4個月後今公布第一階段成果,相關經費編列2到3億元,雖跟國 : 相比「小小小小小」,但確是台灣目前重要成果。 : 協助開發的陽明交通大學應用數學系教授李育杰表示,當國科會宣布台灣要有自己的生 : 式AI,避免過度依賴外國技術,眾人便開始用跑的,打造TAIDE引擎,目前利用臉書公 : 學界使用的LLaMA模型,投入70億個參數量(7B,AI訓練所需參數),達中模型規模。 阿肥外商碼農阿肥啦! 其實這四個月整個訓練框架大爆發,阿肥自己也有幫公司訓練了一個中文小羊駝(可商用 版)給業務單位使用。 包含微軟自己開源的DeepSpeed(把學習人類對話的強化學習(RLFH)訓練框架開源給大家免 費用,還有知名開源框架抱抱臉釋出一些模型壓縮方法可以直接無腦調用,整個訓練阿肥 訓練130億參數的模型從無到有弄起來真的不用一個禮拜,新手最多兩個禮拜就可以掌握 了,真的蠻無腦的。 不過像Llama這種由於參數量其實只有GPT-3(不是ChatGPT跟GPT-4)的1/10不到,所以其實 效能也是有限,像小羊駝Vicuna在通用評價測試集上只有GPT-3的92%,不過只需要一張顯 卡又傻瓜是真的值得什麼都不懂又只有小需求的訓練一下拿來玩,像阿肥現在會把他拿來 做基石做一些有趣的事情微調到自己的領域上省去人工標註的功夫。 差不多4醬 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.49.117 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1686746227.A.A24.html

06/14 20:45, 11月前 , 1F
李宏毅講過了
06/14 20:45, 1F

06/14 20:51, 11月前 , 2F
人家可以拿政府2~3億
06/14 20:51, 2F

06/14 21:04, 11月前 , 3F
但可以拿來幹嘛= =
06/14 21:04, 3F

06/15 00:38, 11月前 , 4F
弱弱一問可商用的中文語料來源都是哪邊的
06/15 00:38, 4F

06/15 00:38, 11月前 , 5F
阿?
06/15 00:38, 5F
文章代碼(AID): #1aYRHpea (Gossiping)
討論串 (同標題文章)
文章代碼(AID): #1aYRHpea (Gossiping)