Re: crossformer
※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
:
: 滿有趣的一篇文章
:
: 考慮多變數維度
:
: 還考慮了多尺度混合
:
: 算借鑒swin transformer吧
:
: 但我的問題要考慮變數/時間/空間
:
: 三種關係照他邏輯多加一層
:
: 感覺參數量跟時間都會爆炸高
:
: 好麻煩
:
: 先試試原版好了
:
: 搓一個跑看看再說
:
魔改完成 參數量感覺會爆炸
但先試試:(((
明天看看能不能跑通
大致上就decoder改了一些
改接upernet
encoder就沒差
畢竟NLP的transformer跟vit本質上沒差
而且model dim應該能設更小
這樣某方面來說應該能壓參數量
反正跑看看
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.82.186 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1767694575.A.78C.html
討論串 (同標題文章)