Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」亮相！打造最強繁中AI語言模型已刪文
※ 引述《aPplAus (燦爛)》之銘言：
: 原文恕刪
: 小弟剛好最近有跟到一些台灣LLM的發展，可以補充一下關於模型的部分。聯發科的研究
: 單位聯發創新基地，做語言模型有一段時間了，之前有一版Breeze-7B模型，發佈了一篇
: 技術論文放在arxiv：
: https://arxiv.org/pdf/2403.02712.pdf
: 論文提到這個模型是從mistral-7B 繼續訓練而成，花了7000小時的H100，灌了650GB的da
: ta。如果有一半是中文，325GB，也灌了超過1000億漢字（3bytes=1word)，其實很多了啦
: 。
: 然後Breexe是從Mixtral訓練而成，是更大一級的模型，論文好像還沒出，但很多公司都
: 有不同大小的模型，做法應該不會差太多（？）。最近有開放API試用：
: https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1
: 跟ChatGPT的比較，最重要的點應該是，像Breeze-7B這種已經開源的模型，對能架伺服器
: 的公司來說，是用越多越賺；跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知
: 道會不會開源就是了。
: 達哥的部分，沒有親自用過，但有認識的人用過。基本上就是平台，然後有一些功能，像
: 是讀pdf等等。就把AI推廣給更多人的東西，應該是不錯啦。
說真的，發哥做這種東西，我是一點都不期待，以我試過各種開源的 LLM 的經驗來看，幾乎都稱不上通用，唯一可以稱的上通用的就 gpt-4 跟 claude3，開源的模型基本上跟垃圾沒兩樣
你說要收費也還好，你架 server 跑開源的模型難道不用花錢？而且 gpt 的收費有個頃向是越來越便宜了，負載平衡都幫你做好了，說真的現在商用解決方案用開源的模型我真的還沒看過，因為真的用起來的感覺跟 gpt-4 差太多了，不是一直跳針就是答非所問
然後 gpt-5 應該也快出來了，gpt -4 大概率又會大降價
這東西的霸主應該還有很長一段時間會是 openai 啦，發哥還是專注在本業卡實在
-----
Sent from JPTT on my Xiaomi 2311DRK48G.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.37.230 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1712795820.A.642.html
推
04/11 08:37,
2周前
, 1F
04/11 08:37, 1F
噓
04/11 08:39,
2周前
, 2F
04/11 08:39, 2F
→
04/11 08:39,
2周前
, 3F
04/11 08:39, 3F
→
04/11 08:44,
2周前
, 4F
04/11 08:44, 4F
→
04/11 08:44,
2周前
, 5F
04/11 08:44, 5F
推
04/11 08:46,
2周前
, 6F
04/11 08:46, 6F
→
04/11 08:46,
2周前
, 7F
04/11 08:46, 7F
→
04/11 08:46,
2周前
, 8F
04/11 08:46, 8F
問題是誰幫這些公司訓練跟架 server? 而且資料都有條款說會保密，已經一堆公司在用 gpt 寫 code 了，會在乎這個的我覺得不多啦
推
04/11 08:48,
2周前
, 9F
04/11 08:48, 9F
→
04/11 08:48,
2周前
, 10F
04/11 08:48, 10F
算力夠猛的條件下就是錢錢要夠多，openai 至少十萬片頂規 gpu 起跳，台灣哪個公司願意砸錢搞這個？
※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:51:23
※ 編輯: Arim (1.200.37.230 臺灣), 04/11/2024 08:53:16
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 3 之 3 篇)：
