同時feed Bert跟TFIDF to Dense layer

看板DataScience作者 (晶仔)時間3年前 (2020/10/27 17:03), 編輯推噓4(4推 0噓 6→)
留言10則, 4人參與, 3年前最新討論串1/1
https://i.imgur.com/IbhEopH.jpg
最近在做一個kaggle challenge, 我們使用Bert 做sentiment analysis， 但準確率只有 60%。網路上有找到一份論文，他們是用weighted TFIDF 做 preprocessing, 然後再進Be rt的pretrained network。而我們想做的有點不一樣，在想說是否可以加入TFIDF進fine tuning的部分？(如圖） 但因爲網路上的討論多是TFIDF, Bert, word2vec的相互比較，好像很少一起合併使用。 所以想來問一下這個構想的合理性？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 130.83.136.15 (德國) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1603789413.A.A9E.html
推
10/27 20:56, 3年前 , 1F
個人經驗覺得bert在downstream task fine tune 的時
10/27 20:56, 1F
→
10/27 20:56, 3年前 , 2F
候後面額外接什麼做end2end的training都很容易壞qq
10/27 20:56, 2F
推
10/27 21:25, 3年前 , 3F
Bert 有跟 downstream 一起 finetune 嗎？
10/27 21:25, 3F
→
10/28 05:23, 3年前 , 4F
感謝經驗分享，我們會再找找其他方式
10/28 05:23, 4F
推
10/28 12:03, 3年前 , 5F
fine tune會回去update BERT裡面的parameters吧 如果像
10/28 12:03, 5F
→
10/28 12:03, 3年前 , 6F
圖片這樣用feature-based的做法concat TFIDF這樣有辦法b
10/28 12:03, 6F
→
10/28 12:03, 3年前 , 7F
ack propagation嗎（？
10/28 12:03, 7F
推
10/28 12:05, 3年前 , 8F
我自己的經驗這樣做的話就是將BERT當作一個representati
10/28 12:05, 8F
→
10/28 12:05, 3年前 , 9F
on跟其他representation 結合訓練下游分類器了XD 不太
10/28 12:05, 9F
→
10/28 12:05, 3年前 , 10F
像fine tune
10/28 12:05, 10F
‣ 更多 e9904567 的文章
文章代碼(AID): #1Vb-9bgU (DataScience)