[問題] autoencoder一定要對稱嗎

看板DataScience作者 (小刀會序曲)時間4年前 (2019/07/24 12:55), 4年前編輯推噓12(12推 0噓 11→)
留言23則, 7人參與, 4年前最新討論串1/2 (看更多)
如題，網路看到的教學基本上都是對稱的，但理論上好像沒有強制一定要對稱，但是如果 不對稱，對於重建資料又好像不太合理？ 另外，我隱藏層神經元個數一定要小於輸入層嗎？可以先大於輸入層，最後在縮減成小於 輸入層嗎？ 舉例如下 對稱：784>256>256>784 非對稱784>1024>256>256>784 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.12.114 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1563944129.A.927.html
推
07/24 13:27, 4年前 , 1F
我想這種事沒有一定，只要你實驗結果好，並且提出一個合理
07/24 13:27, 1F
→
07/24 13:28, 4年前 , 2F
造成這個結果的推論就好。
07/24 13:28, 2F
但其實很多都是試誤法，沒有辦法解釋為什麼要這樣，只是剛好這樣做能提高模型表現， 那樣該怎麼辦呢
→
07/24 13:31, 4年前 , 3F
是說我隨便找一篇論文 https://reurl.cc/NW5b6
07/24 13:31, 3F
→
07/24 13:31, 4年前 , 4F
隱藏層都是大於輸入層阿... 這一定有甚麼誤會(歪頭
07/24 13:31, 4F
謝謝各位回覆，如果要進行特徵選取，但隱藏層大於輸入層就會變的很矛盾，所以才會上 來詢問
推
07/24 14:35, 4年前 , 5F
李宏毅有說不必要對稱，其實如果知道只是一個encoder跟一個
07/24 14:35, 5F
→
07/24 14:35, 4年前 , 6F
decoder，我想就沒有非得要對稱了吧
07/24 14:35, 6F
謝謝你的回覆，我了解了 ※ 編輯: disney82231 (111.241.12.114 臺灣), 07/24/2019 15:13:12
推
07/24 16:34, 4年前 , 7F
沒有說一定要對稱啊，真的會需要對稱是很古早上古年代
07/24 16:34, 7F
→
07/24 16:34, 4年前 , 8F
的事情，那個時候大家還說共享兩個的權重，但是後來發現
07/24 16:34, 8F
→
07/24 16:34, 4年前 , 9F
真的沒必要。
07/24 16:34, 9F
推
07/24 19:44, 4年前 , 10F
沒法解釋就用更多數據和實驗證明他是好的吧
07/24 19:44, 10F
推
07/25 08:02, 4年前 , 11F
對稱應為：784>256>784
07/25 08:02, 11F
推
07/25 12:41, 4年前 , 12F
我都直接用PCA
07/25 12:41, 12F
推
07/27 11:10, 4年前 , 13F
Pca快又準
07/27 11:10, 13F
推
07/29 08:28, 4年前 , 14F
時間序列可以用PCA?
07/29 08:28, 14F
推
07/29 12:41, 4年前 , 15F
其實是可以，但是不是直接喂序列進去，可能要做一些轉
07/29 12:41, 15F
→
07/29 12:41, 4年前 , 16F
秩成週期的矩陣，在用矩陣來做svd分解
07/29 12:41, 16F
推
07/29 12:42, 4年前 , 17F
這樣理論上是能分出成份波
07/29 12:42, 17F
推
07/29 23:57, 4年前 , 18F
PCA 精神上就是找出Variance 大的features,序列來
07/29 23:57, 18F
→
07/29 23:57, 4年前 , 19F
看，有可能Variance 忽大忽小，這是我的疑惑。
07/29 23:57, 19F
→
07/30 03:48, 4年前 , 20F
PCA是線性的，壓縮率比不上NN
07/30 03:48, 20F
推
07/30 09:38, 4年前 , 21F
所以說這個週期矩陣應該是要covariance的矩陣，理論上
07/30 09:38, 21F
→
07/30 09:38, 4年前 , 22F
來說轉換出來的應該是要頻譜資訊在來做svd這樣才能確保v
07/30 09:38, 22F
→
07/30 09:38, 4年前 , 23F
ariance的一致性。
07/30 09:38, 23F
‣ 更多 disney82231 的文章
文章代碼(AID): #1TD-J1ad (DataScience)
‣ 更多 disney82231 的文章
文章代碼(AID): #1TD-J1ad (DataScience)