Re: [新聞]剖析中研院大型語言模型事件的衝擊

看板Soft_Job作者DrTech (竹科管理處網軍研發人員)時間6月前 (2023/10/15 02:34)推噓5(6推 1噓 12→)

留言19則, 8人參與討論串2/2 (看更多)

先說結論：發展本土化，繁體中文LLM模型，然後期待這個模型能讓大家使用，根本是錯誤方向。不知道這些專家學者，是在騙經費，還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋，搜到"台灣是中國的"，或任何有政治偏見的相關文章。你會不會覺得Google很爛？所以我們台灣應該要發展一個"繁體，本土"的搜尋引擎取代google？即使真的做出來了，台灣版google搜尋：一個只能搜少量英文，繁體，台灣本土資訊的搜尋系統，可被搜尋到的內容還無法一直更新，有多少商業價值？這種搜尋引擎，別期待能做什麼產業的應用。可成為大家可沿用的基礎系統，這類搜尋引擎本身沒有什麼實用性。這時重點反而要放在，我們能不能把這搜尋引擎變成工具，內部可以換成自己想要的資料來賺錢。裡面資料有偏見，不通用，根本沒差。我有了工具，自己改就好。 (ElasticSearch就是走這條路) 同樣的道理也適用於台灣的 LLM/AI的發展。現在新聞看到的內容，政府相關單位發展AI的模式都很好笑：因為模型有偏見，所以我們要產出一個本土化知識，繁體中文，專屬於台灣的LLM。之後可能還會包裝，這模型兼顧國際化，英文能力也還可以。實際上這種丟棄大量英文與簡體中文知識的模型，能力與後續潛力是絕對不如LLaMA2 (或其他不分地域語料的模型)的發展方式的。如果OpenAI ChatGPT 丟棄大量全球知識，只能輸出台灣本土知識，你還會用嗎？過分強調本土化，繁體化的模型根本沒意義。最後台灣產官學只會輸出一堆，號稱本土化，產業化，繁體中文大模型。結果每個模型能力，都不如免費的ChatGPT網頁版，或都不如LLaMA2用多語言fine-tune的模型。因為只用繁體知識，本土知識，訓練資料量，與跨語言知識量，推理能力，差太多了。 Demo當然沒問題，問訓練資料內有的就好。但稍微問偏一點的，通用能力完全不如任何全域不分國界的開源模型。計畫結束了，也永遠不會更新模型新知識。這類LLMs的發展，就如只能搜台灣知識的搜尋引擎，實用性被嚴重限制。所以，在台灣做任何LLM研發，本土化知識，繁體中文輸出的LLM根本不是重點。產出任何LLM意義都不大。真正的重點，應該是要發展自主的LLM工具，讓各界能夠任意修改LLM能力。能不能讓台灣各企業，能換上自己公司的專有資料產生專屬的LLM，在各行各業都能取代部分人力，這才是重要的。台灣真正需要的，不是只能搜繁體中文知識都搜尋引擎。不是只能看台灣知識的短影片APP。不是只能輸出台灣本土知識與繁體中文的LLM。而是發展適合中小企業可訓練LLM的簡易工具。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.188.61 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1697308441.A.C83.html

→

BoXeX

10/15 02:40, 6月前 , 1^F

10/15 02:40, 1^F

→

BoXeX

10/15 02:40, 6月前 , 2^F

10/15 02:40, 2^F

→

BoXeX

10/15 02:40, 6月前 , 3^F

10/15 02:40, 3^F