[問題] VAE在text generation的問題

看板DataScience作者 (八七booboo)時間3年前 (2020/07/01 01:13), 編輯推噓11(11推 0噓 32→)
留言43則, 10人參與, 3年前最新討論串1/2 (看更多)
各位前輩好： 有些paper說VAE在image generation的缺點是不夠 realistic且生成的圖片會有點模糊 李宏毅教授的教學影片中也說VAE其實是模仿database的資料，而不是真正的去創造新的圖片，甚至生成的圖片是database的linear combination (我上課沒理解錯的話)，所以才需要GAN 請問前輩們，VAE在text generation也有類似的問題嗎? 也就是VAE並不會真正的生產句子，而是從training set的distribution space中給 因為我想知道 VAE在text generation的缺點 我找了一些paper都沒有在談論這個問題，基本上都是談論VAE有 KL vanishing問題 可以的話能給我paper title，感恩 ----- Sent from JPTT on my Xiaomi Redmi 5 Plus. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.102.36 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1593537202.A.ACF.html
推
07/01 02:19, 3年前 , 1F
那就用sequence gan如何
07/01 02:19, 1F
→
07/01 02:26, 3年前 , 2F
主要是想知道VAE的缺點，看來我文章寫的不清楚
07/01 02:26, 2F
→
07/01 02:28, 3年前 , 3F
VAE有什麼樣的問題，才會用GAN之類的
07/01 02:28, 3F
推
07/01 09:42, 3年前 , 4F
VAE主要是他的approximately上界就是整個資料的分佈，
07/01 09:42, 4F
→
07/01 09:42, 3年前 , 5F
等同於對整個模型做了一個限制，而GAN初始採用隨機噪聲
07/01 09:42, 5F
→
07/01 09:42, 3年前 , 6F
，分佈上界就只是當Discriminator無法分辨真假來源的時
07/01 09:42, 6F
→
07/01 09:42, 3年前 , 7F
候，所以GAN會難train就是這個原因。
07/01 09:42, 7F
推
07/01 09:44, 3年前 , 8F
關鍵字應該是explicit density 跟 implicit density模
07/01 09:44, 8F
→
07/01 09:44, 3年前 , 9F
型的差異
07/01 09:44, 9F
→
07/01 09:45, 3年前 , 10F
更正一下：整個訓練資料的分佈
07/01 09:45, 10F
→
07/01 11:08, 3年前 , 11F
可是gan也沒辦法保證不再資料分布中的樣本能不能有好結
07/01 11:08, 11F
→
07/01 11:08, 3年前 , 12F
果吧，這點可能跟vae差不多？
07/01 11:08, 12F
推
07/01 13:32, 3年前 , 13F
這只能做出失智老人吧 還是玩影像比較有趣
07/01 13:32, 13F
推
07/01 14:46, 3年前 , 14F
gan感覺也是吃training set的分佈吧
07/01 14:46, 14F
→
07/01 14:46, 3年前 , 15F
最近歐巴馬馬賽克轉成白人爭議應該是這樣來的
07/01 14:46, 15F
→
07/01 16:41, 3年前 , 16F
謝謝s大，我找找看
07/01 16:41, 16F
→
07/01 16:41, 3年前 , 17F
整樓下來，我又confuse了
07/01 16:41, 17F
→
07/01 18:04, 3年前 , 18F
我覺得只是vae的 loss設計的不夠好而已，所以才用gan
07/01 18:04, 18F
推
07/01 21:48, 3年前 , 19F
我認為不是loss不夠好 而是這些error不等價
07/01 21:48, 19F
推
07/01 21:50, 3年前 , 20F
舉個例子 數字辨識的1 同樣誤差20個pixel，你會去找筆
07/01 21:50, 20F
→
07/01 21:50, 3年前 , 21F
畫筆直的而不是在乎1長度多少，這導致了明明loss很低，
07/01 21:50, 21F
→
07/01 21:50, 3年前 , 22F
卻還是騙不過眼睛
07/01 21:50, 22F
→
07/01 21:51, 3年前 , 23F
所以藉由另一個network來判斷之間的差異
07/01 21:51, 23F
→
07/01 21:52, 3年前 , 24F
另外NN本來就是data-driven 所以基本上都是跟資料有關
07/01 21:52, 24F
→
07/01 21:52, 3年前 , 25F
，除非你的dataset已經跟母體空間夠相似
07/01 21:52, 25F
→
07/01 21:52, 3年前 , 26F
s大分析精闢
07/01 21:52, 26F
→
07/01 22:01, 3年前 , 27F
第二第三句不就是loss不夠好不能反映真正的lossㄇ
07/01 22:01, 27F
→
07/02 05:56, 3年前 , 28F
Obama轉白人可以貼一下連結嗎
07/02 05:56, 28F
推
07/02 11:59, 3年前 , 29F
07/02 11:59, 29F
→
07/02 12:26, 3年前 , 30F
a大圖片方面我是知道的，但是文字沒有什麼1pixel差異
07/02 12:26, 30F
→
07/02 12:26, 3年前 , 31F
，我就不知道差異處了
07/02 12:26, 31F
→
07/02 16:24, 3年前 , 32F
請問各位前輩我這樣理解不知道對不對：
07/02 16:24, 32F
→
07/02 16:24, 3年前 , 33F
VAE是找尋並符合database的特徵分佈
07/02 16:24, 33F
→
07/02 16:24, 3年前 , 34F
GAN可以突破database產生以外的結果，只是比較難
07/02 16:24, 34F
推
07/02 23:55, 3年前 , 35F
VAE 的 loss 不是 "設計" 出來的吧? 是推導而來的
07/02 23:55, 35F
→
07/02 23:56, 3年前 , 36F
VAE 是在找出 latent variable 的機率分佈, 可以用高斯
07/02 23:56, 36F
→
07/02 23:57, 3年前 , 37F
也可以用其他的分佈, 也許 text 不適合用高斯
07/02 23:57, 37F
→
07/03 01:06, 3年前 , 38F
用高斯或其他的分佈和怎麼評估reconstruct這兩個不都可
07/03 01:06, 38F
→
07/03 01:06, 3年前 , 39F
以自己設計嗎？
07/03 01:06, 39F
→
07/03 01:07, 3年前 , 40F
推倒的機率式並沒有定義
07/03 01:07, 40F
推
07/06 18:29, 3年前 , 41F
歐巴馬那個我覺得難免…NBA那個curry都是黑人了 而且
07/06 18:29, 41F
→
07/06 18:29, 3年前 , 42F
他們自己人也會認錯
07/06 18:29, 42F
推
07/11 22:18, 3年前 , 43F
歐巴馬事件鬥到yann lecun都說要退出twitter了XD
07/11 22:18, 43F
‣ 更多 somoskylin 的文章
文章代碼(AID): #1U-tAohF (DataScience)
‣ 更多 somoskylin 的文章
文章代碼(AID): #1U-tAohF (DataScience)