紀錄一下
pixel shuffle用在vit架構會出現無法收斂的問題
但用在cnn架構就表現良好
我猜測是學習到的特徵分布的問題
vit是全局特徵 cnn輸出的是局部特徵
我隨便猜的
明天再想想原因
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.179.68 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1760953938.A.034.html
→
10/20 17:52,
2月前
, 1F
10/20 17:52, 1F
→
10/20 17:53,
2月前
, 2F
10/20 17:53, 2F
討論串 (同標題文章)