Re: [爆卦] 中央研究院詞庫小組大型語言模型

看板Gossiping作者 (浪人47之華麗的天下無雙)時間6月前 (2023/10/09 12:40), 6月前編輯推噓-6(13推 19噓 46→)
留言78則, 38人參與, 6月前最新討論串5/12 (看更多)
※ 引述《dean1990 (狄恩院長)》之銘言： : 本魯也很好奇問了一些問題， : 首先是比較基礎的： : https://i.imgur.com/zKhx1A2.jpg
: 接著是大家都知道的： : https://i.imgur.com/Tl8GRO3.jpg
: 再來是比較敏感一點的： : https://i.imgur.com/Xm7bZC3.jpg
: 最後倒是令本魯比較意外： : https://i.imgur.com/d43AJ24.jpg
: 中研院作為我國最高研究機構， : 研究結論應該還算有公信力吧。 : ※ 引述《PekoraSakura (PekoMiko)》之銘言： : : https://huggingface.co/spaces/ckiplab/CKIP-Llama-2-7b-chat : : 不知道這研究案領多少錢? : : http://i.imgur.com/tt7aKBR.jpg
: : http://i.imgur.com/SpiGuTr.jpg
: : http://i.imgur.com/kXrHsS1.jpg
: : 拿別人的成功來tune一下就可以掛名中研院...... : : 有沒有掛? 對於LLM只有這一點認知程度的話，最好不要就這樣出來帶風向會比較好，不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM，不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案，事實上LLM是一個機率模型， 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個，它不是資 料庫，所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。 第二個錯誤的認知是把所有的LLM都當成是同一個等級，好像只要A不如B那A就不行，是 垃圾。以這個案例來說，它是Llama-2-7b跟Atom-7b模型，前面的Llama-2模型是代表它 是META出的Llama模型第二代(可商用)，而7b則是說它的參數是70億個，不要以為70億 個參數很多，70億參數以LLM來說只能說是非常小的，所以答出一切亂七八糟的答案非 常正常，在7b之上，還有13b跟70b的模型參數量。 7b的模型實務上如果沒有經過finetune然後針對小範圍的特定任務，基本上就是玩具而 已。 第三，就是對於台灣的能力有誤會，做AI大概分為三個要素，模型/資料/算力。在大語言 模型方面，台灣三個都弱，模型用開源的即便是台智雲，也是用開源模型。資料方面， 繁體中文本來就在中文領域本來就是弱項(中文已經很弱了，繁體中文更弱)，算力方面， 台灣有算力從頭到尾訓練LLM的不是說沒有，但跟OpenAI, META都還是非常非常遙遠的距離 ，所以能做作finetune就不錯了。 這是原生llama-2的試玩網址(記得把模型調到7b來比較) https://www.llama2.ai/ 好，回歸重點，中研院在網站上就已經說過了 #### 以商用開源模型Llama-2-7b以及Atom-7b為基礎，再補強繁體中文的處理能力 #### 好，剛剛我說了Llam2-2-7b，那Atom-7b我剛剛沒有提到，這是什麼東西? Atom-7b就是https://github.com/FlagAlpha/Llama2-Chinese 這個就是中國訓練出來的大語言模型，Atom-7b 中研院從頭到尾都沒有隱藏這件事，它就是基於中國訓練的Atom-7b然後再用繁體中文去 finetune出來的模型啊。 從頭到尾中研院就沒有隱藏這件事，完全不知道前面好像發現什麼新大陸一樣。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 175.182.19.98 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1696826405.A.8BC.html
推
10/09 12:40, 6月前 , 1F
只是要酸民進黨而已啦
10/09 12:40, 1F
→
10/09 12:41, 6月前 , 2F
笑死，如果KMT搞這種早嘴爆
10/09 12:41, 2F
※ 編輯: derekhsu (175.182.19.98 臺灣), 10/09/2023 12:42:38
噓
10/09 12:43, 6月前 , 3F
所以這種垃圾東西可以給台灣人用嗎？
10/09 12:43, 3F
噓
10/09 12:43, 6月前 , 4F
喔，那請把中國寫上去，不要只寫模型的英
10/09 12:43, 4F
→
10/09 12:43, 6月前 , 5F
文名啊
10/09 12:43, 5F
噓
10/09 12:44, 6月前 , 6F
這時候就沒有抗中保台的問題了☺
10/09 12:44, 6F
推
10/09 12:45, 6月前 , 7F
基本上你的第一點就是讓很多酸民發現新大陸
10/09 12:45, 7F
→
10/09 12:45, 6月前 , 8F
的點，八卦一堆中老年酸民當初沒玩過chatg
10/09 12:45, 8F
推
10/09 12:45, 6月前 , 9F
標題把中國兩個中文字寫出來就給過
10/09 12:45, 9F
→
10/09 12:45, 6月前 , 10F
pt還真的以為AI模型的回答有指向性或是必定
10/09 12:45, 10F
→
10/09 12:45, 6月前 , 11F
正確不會唬爛
10/09 12:45, 11F
噓
10/09 12:45, 6月前 , 12F
只寫模型的名稱不敢寫中國兩個字，然後整
10/09 12:45, 12F
→
10/09 12:45, 6月前 , 13F
天抗中飽台
10/09 12:45, 13F
→
10/09 12:46, 6月前 , 14F
被抓包再來說，那個模型名稱去查就是中國
10/09 12:46, 14F
→
10/09 12:46, 6月前 , 15F
訓練的，我們沒隱瞞啊
10/09 12:46, 15F
→
10/09 12:46, 6月前 , 16F
沒辦法 他們又不在乎真相 只是想帶風向
10/09 12:46, 16F
→
10/09 12:47, 6月前 , 17F
然後最好再加上本模型回答以中華人民共和
10/09 12:47, 17F
→
10/09 12:47, 6月前 , 18F
國資料為主要參考對象，不然回答一律當成
10/09 12:47, 18F
→
10/09 12:47, 6月前 , 19F
民主進步黨的定調
10/09 12:47, 19F
推
10/09 12:48, 6月前 , 20F
你在八卦板認真啥 它們只是找理由酸
10/09 12:48, 20F
噓
10/09 12:48, 6月前 , 21F
感謝政府感謝黨, 釋出繁中化的模型...
10/09 12:48, 21F
→
10/09 12:48, 6月前 , 22F
執政黨而已
10/09 12:48, 22F
噓
10/09 12:48, 6月前 , 23F
領一堆錢然後拿他國模組交差了事 好棒
10/09 12:48, 23F
→
10/09 12:49, 6月前 , 24F
一堆米蟲難怪停滯20年
10/09 12:49, 24F
噓
10/09 12:50, 6月前 , 25F
塔綠假日點名
10/09 12:50, 25F
推
10/09 12:50, 6月前 , 26F
沒有問題幹嘛下架？我剛玩得正爽
10/09 12:50, 26F
噓
10/09 12:50, 6月前 , 27F
要這樣找兩個研究生就能搞找你中研院幹麻
10/09 12:50, 27F
→
10/09 12:51, 6月前 , 28F
那它答案怎麼變那麼快 是想洗掉什麼
10/09 12:51, 28F
推
10/09 12:57, 6月前 , 29F
按照民進黨的標準，中研院應該被扣帽子了，
10/09 12:57, 29F
→
10/09 12:57, 6月前 , 30F
關鍵不是鄉民怎麼看，是民進黨雙標
10/09 12:57, 30F
噓
10/09 12:57, 6月前 , 31F
我只想提出一個問題？所以處處防中國
10/09 12:57, 31F
→
10/09 12:57, 6月前 , 32F
防假的？這裡忽然又可以了？
10/09 12:57, 32F
推
10/09 12:59, 6月前 , 33F
連用APP都要扣帽子，這種AI底層架構可以？
10/09 12:59, 33F
→
10/09 12:59, 6月前 , 34F
民進黨要不要臉
10/09 12:59, 34F
→
10/09 12:59, 6月前 , 35F
做不出來啊 怎麼辦呢？ 沒算力沒資料沒
10/09 12:59, 35F
→
10/09 12:59, 6月前 , 36F
模型
10/09 12:59, 36F
→
10/09 13:01, 6月前 , 37F
同意KCSonfire
10/09 13:01, 37F
噓
10/09 13:01, 6月前 , 38F
那怎不大方說我們中研院用中國模型？
10/09 13:01, 38F
→
10/09 13:02, 6月前 , 39F
做不出來就抄中國的 這很雙標
10/09 13:02, 39F
→
10/09 13:02, 6月前 , 40F
如果我們一直有跟中國合作也就算了
10/09 13:02, 40F
→
10/09 13:03, 6月前 , 41F
主事者要是柯文哲看會被打成什麼樣子
10/09 13:03, 41F
→
10/09 13:04, 6月前 , 42F
10/09 13:04, 42F
推
10/09 13:06, 6月前 , 43F
如果這個模型是柯團隊做的 我很好奇評論
10/09 13:06, 43F
→
10/09 13:06, 6月前 , 44F
會是什麼
10/09 13:06, 44F
→
10/09 13:06, 6月前 , 45F
10/09 13:06, 45F
→
10/09 13:06, 6月前 , 46F
你各位加速了嗎?
10/09 13:06, 46F
推
10/09 13:07, 6月前 , 47F
推
10/09 13:07, 47F
→
10/09 13:08, 6月前 , 48F
花一堆錢和你說做不出來，難道是別人的錯
10/09 13:08, 48F
→
10/09 13:08, 6月前 , 49F
覺得提供資料讓人自己思考就好，你不知道
10/09 13:08, 49F
→
10/09 13:09, 6月前 , 50F
對象誰
10/09 13:09, 50F
推
10/09 13:09, 6月前 , 51F
國民黨不可以民進黨就可以，國民黨幹
10/09 13:09, 51F
→
10/09 13:09, 6月前 , 52F
的民進黨也幹了
10/09 13:09, 52F
推
10/09 13:09, 6月前 , 53F
黑龍轉桌講一大堆 還是抄對岸的成果啊
10/09 13:09, 53F
→
10/09 13:10, 6月前 , 54F
如果是柯文哲就直接被幹到死
10/09 13:10, 54F
噓
10/09 13:11, 6月前 , 55F
如果是別人早就被扣賣台的帽子了啦，你
10/09 13:11, 55F
→
10/09 13:11, 6月前 , 56F
看側翼會怎麼動，笑死
10/09 13:11, 56F
推
10/09 13:12, 6月前 , 57F
大量側翼洗地中
10/09 13:12, 57F
噓
10/09 13:13, 6月前 , 58F
原來是簡繁互換啊 真是了不起的技術
10/09 13:13, 58F
→
10/09 13:13, 6月前 , 59F
難怪需要動到中研院
10/09 13:13, 59F
噓
10/09 13:28, 6月前 , 60F
中國的模型裡面餵了什麼都不知道 還敢
10/09 13:28, 60F
→
10/09 13:28, 6月前 , 61F
給台灣人用
10/09 13:28, 61F
噓
10/09 13:33, 6月前 , 62F
感謝你的告知 原來現在政府已經不演了
10/09 13:33, 62F
→
10/09 13:34, 6月前 , 63F
光明正大告訴你就是抄對岸的東西
10/09 13:34, 63F
→
10/09 13:34, 6月前 , 64F
笑死
10/09 13:34, 64F
噓
10/09 13:41, 6月前 , 65F
這個洗地太噁心了 我不行
10/09 13:41, 65F
推
10/09 13:45, 6月前 , 66F
養老機構你要他怎樣？真的超屌都去美
10/09 13:45, 66F
→
10/09 13:45, 6月前 , 67F
國了
10/09 13:45, 67F
→
10/09 13:54, 6月前 , 68F
綠色=>我們是不得已的！其他顏色=>
10/09 13:54, 68F
→
10/09 13:54, 6月前 , 69F
噁心賣國賊！
10/09 13:54, 69F
→
10/09 14:24, 6月前 , 70F
=== 哥布林：你說什麼我看不懂啦 ===
10/09 14:24, 70F
噓
10/09 14:42, 6月前 , 71F
這是中研院，標準不要降這麼低
10/09 14:42, 71F
→
10/09 14:42, 6月前 , 72F
這種辯護方式，讓我覺得可恥和可憐
10/09 14:42, 72F
噓
10/09 14:54, 6月前 , 73F
所以就外包再外包嘛，繁體化這件事什
10/09 14:54, 73F
→
10/09 14:54, 6月前 , 74F
麼時候需要動用到國家級研究機構了
10/09 14:54, 74F
噓
10/09 15:17, 6月前 , 75F
低能綠共整天賣國
10/09 15:17, 75F
→
10/09 16:12, 6月前 , 76F
翻譯：台灣就是沒東西可用只好用中國
10/09 16:12, 76F
噓
10/09 17:30, 6月前 , 77F
沒隱藏就沒事喔？所以中研院是資敵賣台
10/09 17:30, 77F
→
10/09 17:30, 6月前 , 78F
嗎？
10/09 17:30, 78F
‣ 更多 derekhsu 的文章
文章代碼(AID): #1b8uGbYy (Gossiping)
討論串 (同標題文章)
本文引述了以下文章的的內容：
以下文章回應了本文：
完整討論串 (本文為第 5 之 12 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共12篇)
‣ 更多 derekhsu 的文章
文章代碼(AID): #1b8uGbYy (Gossiping)