Re: [問卦] 中研院自己做的大型語言模型怎麼了？

看板Gossiping作者 (掛網中)時間6月前 (2023/10/09 11:05), 編輯推噓-1(4推 5噓 59→)
留言68則, 8人參與, 6月前最新討論串3/7 (看更多)
※ 引述《messi5566 (虹粉)》之銘言： : 中研院最近發布了他們自己開發的LLM : 說是在處理繁體中文的任務上表現優異 : 可是小妹看了一下跑出來的成果 : https://i.imgur.com/I1zNnIa.png
: https://i.imgur.com/BJIxJY6.png
: 請問繁體中文的任務內容是把簡體翻譯過來嗎 : 詳細資料在這裡 : https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat 這語言模型基礎是建構於Llama 2，meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型， 也是開源且開放商用 技術上也不用解釋太多，反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答 如果你想獲得一個相反的答案，只要多試幾次調一下參數就行，像這樣 https://i.imgur.com/GQlNhZj.jpg
然後一群人就高潮了 某種程度上AI真的恐怖，尤其是在知識落後地域 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.61.199 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1696820747.A.ACC.html
→
10/09 11:07, 6月前 , 1F
所以原來是meta開發的喔
10/09 11:07, 1F
→
10/09 11:14, 6月前 , 2F
但你真的覺得這樣算有做得好，達成中研院
10/09 11:14, 2F
→
10/09 11:14, 6月前 , 3F
本來的目的嗎…
10/09 11:14, 3F
推
10/09 11:16, 6月前 , 4F
日本已經發聲需要訓練ai正確的價值觀
10/09 11:16, 4F
→
10/09 11:17, 6月前 , 5F
看你的目的是啥，本來也就沒足夠資料從頭
10/09 11:17, 5F
→
10/09 11:17, 6月前 , 6F
建造一個可能是垃圾的模型，而審查這塊不
10/09 11:17, 6F
→
10/09 11:17, 6月前 , 7F
就台灣人最討厭的
10/09 11:17, 7F
→
10/09 11:18, 6月前 , 8F
耶，架構來自meta，模型來自中國開源…
10/09 11:18, 8F
→
10/09 11:18, 6月前 , 9F
那至少要先微調到讓人看不出手腳吧？要不
10/09 11:18, 9F
→
10/09 11:18, 6月前 , 10F
然誰知道中研院做了什麼？
10/09 11:18, 10F
→
10/09 11:21, 6月前 , 11F
北京海天瑞聲科技
10/09 11:21, 11F
→
10/09 11:22, 6月前 , 12F
你要做手腳到回答正確國家價值的程度，那
10/09 11:22, 12F
→
10/09 11:22, 6月前 , 13F
叫做國家機器，不叫做機器學習了
10/09 11:22, 13F
→
10/09 11:36, 6月前 , 14F
啊你模型也不是自己的，架構也不是自己的
10/09 11:36, 14F
→
10/09 11:36, 6月前 , 15F
，學習什麼？
10/09 11:36, 15F
→
10/09 11:38, 6月前 , 16F
這就跟上次疫苗網站裡有簡中註釋一樣，要
10/09 11:38, 16F
→
10/09 11:38, 6月前 , 17F
抄可以，把破綻弄掉誰也不知道
10/09 11:38, 17F
→
10/09 11:44, 6月前 , 18F
你搞錯了，從頭到尾都是模型，簡單而言就
10/09 11:44, 18F
→
10/09 11:44, 6月前 , 19F
是把開源模型調教成適合繁中使用者的模型
10/09 11:44, 19F
→
10/09 11:47, 6月前 , 20F
啊現在不就是你模型沒調成適合繁中的狀況
10/09 11:47, 20F
→
10/09 11:47, 6月前 , 21F
，開放介面給人玩，才被吐槽嗎？
10/09 11:47, 21F
→
10/09 11:47, 6月前 , 22F
因為就算你把全ptt的文本從頭開始練都達不
10/09 11:47, 22F
→
10/09 11:47, 6月前 , 23F
到LLM需要的數量，也非常燒錢
10/09 11:47, 23F
→
10/09 11:49, 6月前 , 24F
如果你覺得要回答有特定價值觀的模型才有
10/09 11:49, 24F
→
10/09 11:50, 6月前 , 25F
意義，那你應該適合文心一言而不是這種
10/09 11:50, 25F
推
10/09 11:52, 6月前 , 26F
事實上，台灣人可能比較期待後者
10/09 11:52, 26F
→
10/09 11:54, 6月前 , 27F
這不只是意識形態的問題，目前實用方面會
10/09 11:54, 27F
→
10/09 11:54, 6月前 , 28F
被認為是不可用
10/09 11:54, 28F
推
10/09 12:05, 6月前 , 29F
就不要講是自己研發的就好了，finetune說自
10/09 12:05, 29F
→
10/09 12:05, 6月前 , 30F
己做的被罵合理吧
10/09 12:05, 30F
推
10/09 12:08, 6月前 , 31F
就資料沒洗乾淨而已
10/09 12:08, 31F
→
10/09 12:18, 6月前 , 32F
我點進去上面都有說明啊...還中文
10/09 12:18, 32F
噓
10/09 12:27, 6月前 , 33F
又來了，說不過就開始嘴人中共同路人，這
10/09 12:27, 33F
→
10/09 12:27, 6月前 , 34F
種人才適合文言一心吧？科科
10/09 12:27, 34F
噓
10/09 12:35, 6月前 , 35F
你的中文字典沒有開發兩個字嗎，第一句話就
10/09 12:35, 35F
→
10/09 12:35, 6月前 , 36F
說自己開發的，你要幹別人的架構然後finetun
10/09 12:35, 36F
→
10/09 12:35, 6月前 , 37F
e,不如說是應用吧，開發了啥網頁開發嗎
10/09 12:35, 37F
→
10/09 14:29, 6月前 , 38F
文心一言是目前中文文本裡最好的大型語言
10/09 14:29, 38F
→
10/09 14:29, 6月前 , 39F
模型啊，又抹中共同路人了
10/09 14:29, 39F
→
10/09 14:31, 6月前 , 40F
開源軟體為基礎架構開發的東西可多了...
10/09 14:31, 40F
→
10/09 14:35, 6月前 , 41F
發哥那個從bloom
10/09 14:35, 41F
→
10/09 14:35, 6月前 , 42F
為基礎的也是說開發，你怎麼會糾結這個
10/09 14:35, 42F
→
10/09 14:37, 6月前 , 43F
只是他沒被拿來八卦靠北而已
10/09 14:37, 43F
→
10/09 14:53, 6月前 , 44F
CKIP Bloom (bloom 3b)
10/09 14:53, 44F
噓
10/09 15:33, 6月前 , 45F
發哥那個就是純研究目的的啊，又不做商業用
10/09 15:33, 45F
→
10/09 15:33, 6月前 , 46F
途，中研院這個在新聞稿直接說為了商業使用
10/09 15:33, 46F
→
10/09 15:33, 6月前 , 47F
所以他們對資料集做了規避，你怎麼會覺得中
10/09 15:33, 47F
→
10/09 15:34, 6月前 , 48F
研院這個是合理的，是說人家都下架了你也不
10/09 15:34, 48F
→
10/09 15:34, 6月前 , 49F
用護航了
10/09 15:34, 49F
→
10/09 18:01, 6月前 , 50F
下架很正常吧，長官會開心才有鬼，可商用
10/09 18:01, 50F
→
10/09 18:01, 6月前 , 51F
不可商用跟你糾結開發兩字根本無關就是
10/09 18:01, 51F
→
10/09 18:03, 6月前 , 52F
華碩那個就是可商用
10/09 18:03, 52F
噓
10/09 18:38, 6月前 , 53F
怎麼會沒關係，自主開發跟可商用的含金量對
10/09 18:38, 53F
→
10/09 18:38, 6月前 , 54F
你來說這麼不重要嗎，給meta跟蒐集資料的人
10/09 18:38, 54F
→
10/09 18:38, 6月前 , 55F
一點尊重好嗎，這樣以後誰還要開源給別人用
10/09 18:38, 55F
→
10/09 18:38, 6月前 , 56F
，換個皮就說是自己開發的，你真的認為這樣
10/09 18:38, 56F
→
10/09 18:38, 6月前 , 57F
可以啊？雖然不犯法啦，但我覺得不好看啦，
10/09 18:38, 57F
→
10/09 18:38, 6月前 , 58F
難怪台灣軟體業都這樣覺得開發就是git clone
10/09 18:38, 58F
→
10/09 18:38, 6月前 , 59F
就好
10/09 18:38, 59F
噓
10/09 19:31, 6月前 , 60F
開發跟可商用就像，你讓大學同學們抄你的作
10/09 19:31, 60F
→
10/09 19:31, 6月前 , 61F
業，然後其中一個同學抄完後作業然後跟別人
10/09 19:31, 61F
→
10/09 19:31, 6月前 , 62F
說，可以抄我的，雖然我有參考其他人的啦但
10/09 19:31, 62F
→
10/09 19:31, 6月前 , 63F
是這是我修改過後的版本，然後發現修改是把
10/09 19:31, 63F
→
10/09 19:31, 6月前 , 64F
你字體改變而已，抄完答案閉嘴(不可商用)不
10/09 19:31, 64F
→
10/09 19:31, 6月前 , 65F
給別人抄根本沒人管你好嗎
10/09 19:31, 65F
→
10/09 19:36, 6月前 , 66F
事實上就是不能用
10/09 19:36, 66F
→
10/09 19:37, 6月前 , 67F
llama本體足夠強大 這案子經費只有30萬
10/09 19:37, 67F
→
10/09 19:37, 6月前 , 68F
還把它tune的更糟
10/09 19:37, 68F
‣ 更多 afking 的文章
文章代碼(AID): #1b8suBhC (Gossiping)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 3 之 7 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共7篇)
‣ 更多 afking 的文章
文章代碼(AID): #1b8suBhC (Gossiping)