Fw: [問卦] 用PTT來訓練AI語言模型會怎樣

看板KOTDFansClub作者KOTD (這只是代號)時間1年前 (2023/03/14 22:36)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

※ [本文轉錄自 Gossiping 看板 #1a38Nq02 ] 作者: Antihuman () 看板: Gossiping 標題: [問卦] 用PTT來訓練AI語言模型會怎樣時間: Sat Mar 11 21:45:21 2023 PTT是台灣最大的討論區之一，包含了許多不同主題的討論版，從政治、經濟、科技、娛樂到生活、旅遊等等，因此PTT的資料可以提供豐富的語言資源，進行大型語言模型的訓練可能會有以下的影響：增加模型的多樣性：PTT 的資料來源眾多，而每個版的用語、詞彙、語言風格都不同，因此使用PTT的資料訓練大型語言模型可以增加模型的多樣性，使其更能夠應對不同領域的自然語言處理任務。提升模型的台灣文化認知：PTT是一個台灣本土的討論區，其中的文化內容和用語與台灣文化緊密相關。訓練大型語言模型使用PTT資料，可以使模型更加了解台灣文化和風俗，更好地處理和生成相關的自然語言。面臨資料品質問題：PTT是一個公開的討論區，其中包含了許多用戶所發表的訊息，這些訊息的品質可能不同，有些可能包含不合適的語言、錯誤的拼字和語法等問題。因此在使用PT T資料訓練語言模型時，需要注意濾除低質量的資料，以免對模型的訓練產生負面影響。總結來說，PTT的資料對於大型語言模型的訓練具有一定的幫助，但需要注意資料品質問題，以免對模型的訓練產生不利影響。此外，也需要注意到PTT資料的局限性，不同於網際網路上的其他資料，PTT資料集的涵蓋面和語言風格可能會有所局限，因此訓練出來的語言模型在應用於其他領域時，可能需要進行適當調整。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.235.254.76 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1678542324.A.002.html

→

k385476916

03/11 21:45, 1年前 , 1^F

03/11 21:45, 1^F

→

dayend

03/11 21:45, 1年前 , 2^F

03/11 21:45, 2^F

→

pttOwO

03/11 21:46, 1年前 , 3^F

03/11 21:46, 3^F