看板 [ Soft_Job ]
討論串[討論] 中研院繁中LLM被爆直接拿對岸的來套
共 3 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[討論] 中研院繁中LLM被爆直接拿對岸的來套
推噓35(40推 5噓 102→)留言147則，0人參與, 7月前最新作者gaymay5566 (feeling很重要)時間7月前 (2023/10/09 09:42), 7月前編輯資訊
1
4
1
內容預覽:
中央研究院詞庫小組（CKIP）. 中研院資訊所、語言所於民國75年合作成立. 前天釋出可以商用的繁中大型語言模型(LLM). CKIP-Llama-2-7b. 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎. 再補強繁體中文的處理能力. 參數量達70億. 模型可應用於各種領域.
(還有295個字)
#2
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套
推噓53(55推 2噓 94→)留言151則，0人參與, 7月前最新作者DrTech (竹科管理處網軍研發人員)時間7月前 (2023/10/09 14:53), 編輯資訊
1
4
1
內容預覽:
小弟待的公司，非學術單位，. 可能是台灣硬體計算資源稍微豐富的公司。. 公司投入在買GPU 應該近億了。. 自己也研究了幾個月 fine-tune 方法。. 不過，還是沒足夠能力與資源訓練正常的LLM。. 主要卡在三方面：. 1.資料面，會卡什麼？：. 並不是像版友們說的：繁體中文語料過少，. 這根
(還有1351個字)
#3
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套
推噓3(3推 0噓 6→)留言9則，0人參與, 7月前最新作者alex780312 (Alex)時間7月前 (2023/10/14 15:46), 編輯資訊
0
0
0
內容預覽:
身為LLM猴子，大多同意DrTech的看法，只是台智雲這塊有點不一樣。. 其實台智雲有幾乎一半台灣杉2號的機器可以用，. 也克服很多開源軟體無法解決的問題；例如硬體是V100不是A100，. 又要能夠做3D model parallelism，又要同時能跑LoRA，RLHF，. 在100Gbps網路
(還有457個字)
首頁
上一頁
1
下一頁
尾頁