Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」亮相！打造最強繁中AI語言模型

看板Stock作者 (燦爛)時間3周前 (2024/04/10 20:39), 編輯推噓18(19推 1噓 11→)
留言31則, 20人參與, 3周前最新討論串2/3 (看更多)
原文恕刪 小弟剛好最近有跟到一些台灣LLM的發展，可以補充一下關於模型的部分。聯發科的研究 單位聯發創新基地，做語言模型有一段時間了，之前有一版Breeze-7B模型，發佈了一篇 技術論文放在arxiv： https://arxiv.org/pdf/2403.02712.pdf 論文提到這個模型是從mistral-7B 繼續訓練而成，花了7000小時的H100，灌了650GB的da ta。如果有一半是中文，325GB，也灌了超過1000億漢字（3bytes=1word)，其實很多了啦 。 然後Breexe是從Mixtral訓練而成，是更大一級的模型，論文好像還沒出，但很多公司都 有不同大小的模型，做法應該不會差太多（？）。最近有開放API試用： https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1 跟ChatGPT的比較，最重要的點應該是，像Breeze-7B這種已經開源的模型，對能架伺服器 的公司來說，是用越多越賺；跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知 道會不會開源就是了。 達哥的部分，沒有親自用過，但有認識的人用過。基本上就是平台，然後有一些功能，像 是讀pdf等等。就把AI推廣給更多人的東西，應該是不錯啦。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.35.85 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1712752740.A.F57.html
推
04/10 20:42, 3周前 , 1F
開源的 Breeze-7B 我是玩一下過，感覺還不錯!
04/10 20:42, 1F
→
04/10 20:43, 3周前 , 2F
試
04/10 20:43, 2F
推
04/10 20:43, 3周前 , 3F
推介紹!
04/10 20:43, 3F
推
04/10 20:48, 3周前 , 4F
推推
04/10 20:48, 4F
推
04/10 20:50, 3周前 , 5F
一看到h100 直接冷掉 一半人根本玩不起QQ
04/10 20:50, 5F
推
04/10 20:52, 3周前 , 6F
做隔壁專業的，好奇這樣子也會有 emerging ability
04/10 20:52, 6F
→
04/10 20:52, 3周前 , 7F
嗎，其實它變單一語種而且是繁中，和原始模型不能算
04/10 20:52, 7F
→
04/10 20:53, 3周前 , 8F
同個東西了吧，而且英語的普及度又遠大於繁中，很多
04/10 20:53, 8F
→
04/10 20:54, 3周前 , 9F
問題會受限吧，那個benchmark和GPT3.5也差一截
04/10 20:54, 9F
噓
04/10 21:00, 3周前 , 10F
可以幫文組翻譯嗎 救命-.-
04/10 21:00, 10F
推
04/10 21:05, 3周前 , 11F
重點是企業設置私有AI模型運用，要能合規法循。所以
04/10 21:05, 11F
→
04/10 21:06, 3周前 , 12F
繁中未來還是有一定的市場可以開發。
04/10 21:06, 12F
推
04/10 21:08, 3周前 , 13F
這樣發哥明天是漲還是跌?
04/10 21:08, 13F
推
04/10 21:15, 3周前 , 14F
聯發哥2000
04/10 21:15, 14F
推
04/10 21:21, 3周前 , 15F
這東西開發跟上好處很多 值得值得
04/10 21:21, 15F
→
04/10 21:21, 3周前 , 16F
受限沒關係啊 跟上就好
04/10 21:21, 16F
推
04/10 21:29, 3周前 , 17F
Mistral AI 這家法國新創有前途啊，微軟都要琵琶別
04/10 21:29, 17F
→
04/10 21:29, 3周前 , 18F
抱了
04/10 21:29, 18F
→
04/10 21:30, 3周前 , 19F
發哥有眼光
04/10 21:30, 19F
推
04/10 21:35, 3周前 , 20F
個人覺得繁體中文最強的開源就是breeze 7B了，回答
04/10 21:35, 20F
→
04/10 21:35, 3周前 , 21F
的都滿好的。
04/10 21:35, 21F
推
04/10 21:56, 3周前 , 22F
特點除了繁體，可以針對臺灣的內容回答得不錯
04/10 21:56, 22F
推
04/10 22:00, 3周前 , 23F
達哥也不是功能啦，大部分就是挑好model然後寫好pro
04/10 22:00, 23F
→
04/10 22:00, 3周前 , 24F
mpt來做各種事情
04/10 22:00, 24F
推
04/10 22:04, 3周前 , 25F
推推
04/10 22:04, 25F
推
04/10 22:05, 3周前 , 26F
未來股王
04/10 22:05, 26F
推
04/10 22:41, 3周前 , 27F
講實話工作上能用很不錯
04/10 22:41, 27F
推
04/10 23:06, 3周前 , 28F
繁中最大資料庫，是否能用ptt內的文章來灌進去訓練
04/10 23:06, 28F
推
04/11 00:29, 3周前 , 29F
推推
04/11 00:29, 29F
推
04/11 01:19, 3周前 , 30F
果然是拿開源拿來改== 給我一台H100 我也行
04/11 01:19, 30F
→
04/11 07:22, 3周前 , 31F
聞西，要你命3000，訊號來了
04/11 07:22, 31F
‣ 更多 aPplAus 的文章
文章代碼(AID): #1c5eXazN (Stock)
‣ 更多 aPplAus 的文章
文章代碼(AID): #1c5eXazN (Stock)