[問題] r做nlp發現新詞的套件

看板R_Language作者 (empireisme)時間4年前 (2020/05/04 23:41), 編輯推噓1(1推 0噓 16→)
留言17則, 4人參與, 4年前最新討論串1/1
如題 我想問問看 如果想用r發現新詞，是否有相關的nlp套件或關鍵字(中文新詞為主) 我打find new word 或 discover new word好像都有點不太對 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.19.236 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1588606870.A.AC2.html
→
05/05 11:16, 4年前 , 1F
什麼是發現新詞? 一個詞不在字典裡?
05/05 11:16, 1F
→
05/05 11:18, 4年前 , 2F
還是NER model
05/05 11:18, 2F
→
05/05 12:31, 4年前 , 3F
對就是一個新詞不在詞典裡，例如習大大之類的
05/05 12:31, 3F
→
05/05 18:01, 4年前 , 4F
應該都可以自訂詞庫吧？
05/05 18:01, 4F
→
05/05 18:57, 4年前 , 5F
自訂詞庫要依靠人力，想要利用統計方法發現新詞
05/05 18:57, 5F
推
05/05 21:00, 4年前 , 6F
不確定目前有沒有套件可以做到你想做的，用統計方法自動產
05/05 21:00, 6F
→
05/05 21:00, 4年前 , 7F
生新詞…因為中文不像英文用空格分格；每個中文字都各自有
05/05 21:00, 7F
→
05/05 21:00, 4年前 , 8F
意思，連接起來可能又有新的意思，連接到多長停止也沒有規
05/05 21:00, 8F
→
05/05 21:00, 4年前 , 9F
則…所以好像輸入進詞庫給模型訓練好像是比較常見的做法@@
05/05 21:00, 9F
→
05/05 21:00, 4年前 , 10F
(跪求版上NLP專家)
05/05 21:00, 10F
→
05/05 21:09, 4年前 , 11F
剛剛查了一下，一樓allen大大說的NER model好像就是用深度
05/05 21:09, 11F
→
05/05 21:09, 4年前 , 12F
學習方法自動做斷詞，原po或許可以找找看有沒有用R做這個的
05/05 21:09, 12F
→
05/05 21:09, 4年前 , 13F
套件(抱歉上面廢話太多QQ)
05/05 21:09, 13F
→
05/06 15:12, 4年前 , 14F
有一個頗簡單的方式是用中研院的ckiptagger，有支援做n
05/06 15:12, 14F
→
05/06 15:12, 4年前 , 15F
er model，不過你要先將它用reticulate移植到R上，goog
05/06 15:12, 15F
→
05/06 15:12, 4年前 , 16F
le一下有人做好
05/06 15:12, 16F
→
05/06 19:17, 4年前 , 17F
謝謝我來看一下什麼是reticulate
05/06 19:17, 17F
‣ 更多 empireisme 的文章
文章代碼(AID): #1Ui3UMh2 (R_Language)