Re: [爆卦] 中央研究院詞庫小組大型語言模型

看板Gossiping作者 (feeling很重要)時間7月前 (2023/10/09 20:20), 7月前編輯推噓23(25推 2噓 31→)
留言58則, 31人參與, 7月前最新討論串12/12 (看更多)
: 至於說，CKIP可以辯解說，我們確實沒有隱瞞也確實提升了繁中能力，那我認真覺得如果 : 我們只是希望模型輸出全繁中而不在意希望模型學會繁中文化跟台灣環境的流行用語的話 : ，那我們直接拿英文數據做機翻不是更快更有效？！英文數據還取之不盡，英文to繁中的 : 翻譯模型開源的現在也一大堆，翻譯品質也算堪用。 : 而且真的要做這件事情也不用中研院來做。阿肥我直接業餘一個禮拜直接搞定，阿肥之前 : 也訓練過一堆這種tune壞的Garbage LLM，現在訓練接微軟的deepspeed又快又無腦，Nvid : ia最近也釋出自己的訓練框架，config調一調我連code都不用自己寫，現在一張4090就可 : 以tune起來7b模型了，幹嘛要你中研院來做？！ : 而且tune壞的部分我要finetune還要加數據把他tune回來，那我直接拿Atom 7b原生做就 : 好了啊！ : 唉～ 阿肥 中研院資訊所早已回應了 研究人員直接說這是幻覺～ 沒你說的這麼高端解釋啦～ https://reurl.cc/QZer9M 本院資訊所表示，CKIP-LlaMa-2-7b 並非「臺版chatGPT」，且跟國科會正在發展的 TAIDE 無關。 CKIP-LlaMa-2-7b 的研究目標之一是讓 meta 開發的 Llama 2 大型語言模型具備更好的 繁體中文處理能力。這項小型研究僅用了大約30萬元的經費，將明清人物的生平進行自動 化分析，建構自動化的歷史人物、事件、時間、地點等事理圖譜，因此訓練資料除了繁體 中文的維基百科，另也包含臺灣的碩博士論文摘要、來自中國開源的任務資料集 COIG（ CHINESE OPEN INSTRUCTION GENERALIST）、詩詞創作、文言文和白話文互相翻譯等閱讀 理解問答；在github網頁上也據實說明。 由於這是一項個人小型的研究，各界對該模型進行的提問測試，並未在原始的研究範疇。 該研究人員表示，由於生成式AI易產生「幻覺」（hallucination），模型產生內容出乎 預期，也是未來要努力改善的地方，研究人員今（9）日已將測試版先行下架，未來相關 研究及成果釋出，會更加謹慎。對相關研究的成果，公開釋出前，院內也會擬定審核機制 ，避免類似問題產生。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.77.82 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1696854018.A.5E7.html
推
10/09 20:21, 7月前 , 1F
一切都是幻覺，嘻嘻
10/09 20:21, 1F
推
10/09 20:21, 7月前 , 2F
原來幻覺會告訴你元首是習近平
10/09 20:21, 2F
→
10/09 20:21, 7月前 , 3F
全都是幻覺 嚇不倒我的
10/09 20:21, 3F
→
10/09 20:22, 7月前 , 4F
這樣也要30萬啊…
10/09 20:22, 4F
→
10/09 20:22, 7月前 , 5F
ai是幻覺 我們生活的地方也是幻覺
10/09 20:22, 5F
→
10/09 20:22, 7月前 , 6F
世界是虛擬的！
10/09 20:22, 6F
推
10/09 20:24, 7月前 , 7F
10/09 20:24, 7F
推
10/09 20:25, 7月前 , 8F
「個人小型實驗」還能上新聞宣傳真不簡單
10/09 20:25, 8F
推
10/09 20:28, 7月前 , 9F
10/09 20:28, 9F
推
10/09 20:29, 7月前 , 10F
10/09 20:29, 10F
推
10/09 20:30, 7月前 , 11F
個人實驗還能上新聞真好，阿肥能上新聞
10/09 20:30, 11F
→
10/09 20:30, 7月前 , 12F
的機會都沒有
10/09 20:30, 12F
→
10/09 20:31, 7月前 , 13F
要上新聞吹就不要怪大家檢視啊
10/09 20:31, 13F
推
10/09 20:32, 7月前 , 14F
之前台灣的新聞似乎都下架了只剩下中國的
10/09 20:32, 14F
噓
10/09 20:33, 7月前 , 15F
ai產生幻覺 這是奇異點吧
10/09 20:33, 15F
推
10/09 20:34, 7月前 , 16F
我們政府很有效率耶，不輸對岸，一個命
10/09 20:34, 16F
→
10/09 20:34, 7月前 , 17F
令媒體集體下架
10/09 20:34, 17F
推
10/09 20:34, 7月前 , 18F
10/09 20:34, 18F
→
10/09 20:35, 7月前 , 19F
個人小型實驗發的台灣的新聞
10/09 20:35, 19F
推
10/09 20:36, 7月前 , 20F
笑死，台灣傻事一定會搬這一條。
10/09 20:36, 20F
推
10/09 20:36, 7月前 , 21F
嚇不倒我的!!!!!
10/09 20:36, 21F
推
10/09 20:37, 7月前 , 22F
假的！是你各位眼睛業障重
10/09 20:37, 22F
推
10/09 20:41, 7月前 , 23F
原新聞寫是「團隊」人工挑出的CIOG-PC
10/09 20:41, 23F
→
10/09 20:42, 7月前 , 24F
資訊所聲明稿跟兩天前的新聞稿差這麼多
10/09 20:42, 24F
推
10/09 20:43, 7月前 , 25F
笑死
10/09 20:43, 25F
推
10/09 20:46, 7月前 , 26F
30萬 笑死
10/09 20:46, 26F
推
10/09 20:50, 7月前 , 27F
就說了 繼續研究如何包裝
10/09 20:50, 27F
→
10/09 20:50, 7月前 , 28F
以達到看不出來的效果
10/09 20:50, 28F
推
10/09 20:52, 7月前 , 29F
這就是我們中研院研究員的素質？
10/09 20:52, 29F
→
10/09 20:53, 7月前 , 30F
難怪台灣停滯2、30年沒有突破性發展
10/09 20:53, 30F
→
10/09 20:53, 7月前 , 31F
一切都是幻覺
10/09 20:53, 31F
推
10/09 21:09, 7月前 , 32F
要評論語言模型結果幻覺這個專有名詞不
10/09 21:09, 32F
→
10/09 21:09, 7月前 , 33F
知道也太好笑
10/09 21:09, 33F
→
10/09 21:09, 7月前 , 34F
30萬算上模型訓練用的硬體成本跟清理資
10/09 21:09, 34F
→
10/09 21:09, 7月前 , 35F
料集的人力成本也差不多了吧
10/09 21:09, 35F
推
10/09 21:10, 7月前 , 36F
幻覺是中研院自己說的 不是評論
10/09 21:10, 36F
→
10/09 21:11, 7月前 , 37F
可能用英文怕記者翻錯
10/09 21:11, 37F
→
10/09 21:12, 7月前 , 38F
本來用幻覺這個字就容易一語雙關
10/09 21:12, 38F
※ 編輯: gaymay5566 (36.234.77.82 臺灣), 10/09/2023 21:14:12
推
10/09 21:15, 7月前 , 39F
30萬的1人團隊，怎麼有點熟悉！
10/09 21:15, 39F
→
10/09 21:20, 7月前 , 40F
AI產生幻覺？那AI會不會知覺失調阿？XDD
10/09 21:20, 40F
→
10/09 21:36, 7月前 , 41F
個人小型實驗新聞稿寫得這麼偉大
10/09 21:36, 41F
推
10/09 21:38, 7月前 , 42F
假的。你眼睛業障重
10/09 21:38, 42F
推
10/09 21:56, 7月前 , 43F
原來我中了幻覺啊...@@"
10/09 21:56, 43F
→
10/09 22:01, 7月前 , 44F
幻覺的意思是 CHAT常常會捏造東西聊天
10/09 22:01, 44F
→
10/09 22:01, 7月前 , 45F
因為CHAT 的首要目標是聊的通順 不是
10/09 22:01, 45F
→
10/09 22:02, 7月前 , 46F
內容的正確性 所以你問一個不存在的東
10/09 22:02, 46F
→
10/09 22:02, 7月前 , 47F
西跟他聊天 他也可以講的好像真的存在
10/09 22:02, 47F
→
10/09 22:03, 7月前 , 48F
千萬不要相信任何CHAT宣稱的"正確性"
10/09 22:03, 48F
→
10/09 22:06, 7月前 , 49F
有時會看到CHAT會捏造參考資料來佐證
10/09 22:06, 49F
→
10/09 22:07, 7月前 , 50F
自己的觀點 但這些參考資料不存在於現
10/09 22:07, 50F
→
10/09 22:07, 7月前 , 51F
最好是幻覺這麼精準啦 就數據有問題 你們
10/09 22:07, 51F
→
10/09 22:07, 7月前 , 52F
沒有清理
10/09 22:07, 52F
→
10/09 22:07, 7月前 , 53F
實中
10/09 22:07, 53F
推
10/09 22:08, 7月前 , 54F
誰在認知作戰？
10/09 22:08, 54F
→
10/09 22:24, 7月前 , 55F
你們餵它垃圾他當然產生垃圾
10/09 22:24, 55F
推
10/09 22:34, 7月前 , 56F
10/09 22:34, 56F
噓
10/10 08:42, 7月前 , 57F
對，一切都是幻覺這樣解釋就都合理了
10/10 08:42, 57F
→
10/10 13:37, 7月前 , 58F
一切都是幻覺辣
10/10 13:37, 58F
‣ 更多 gaymay5566 的文章
文章代碼(AID): #1b8_02Nd (Gossiping)
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 12 之 12 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共12篇)
‣ 更多 gaymay5566 的文章
文章代碼(AID): #1b8_02Nd (Gossiping)