[問題] max pooling的梯度問題
在max polling中，因為只取最大的資料點，其他都丟棄，
因此只有最大的點的變動會影響下一層layer，也就是說除了他以外其他點的梯度都是零
那這樣不是只有那一點的相關權重有梯度且會被更新到，其他的權重都不會更新到了呢？
例如[a1, a2, a3], 當前最大值是a1, 那梯度就是[a1, 0, 0]
因此只有a1相關的權重會被更新，a2, a3就永遠不會被更新到
假設我們要找的optimization是在當a2為max的時候，要怎樣才會跳脫出a1為最大的狀態呢
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.248.45 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1634465239.A.4E5.html
推
10/17 19:16,
2年前
, 1F
10/17 19:16, 1F
→
10/17 19:17,
2年前
, 2F
10/17 19:17, 2F
→
10/17 19:18,
2年前
, 3F
10/17 19:18, 3F
→
10/17 19:19,
2年前
, 4F
10/17 19:19, 4F
→
10/18 01:37,
2年前
, 5F
10/18 01:37, 5F
→
10/18 01:38,
2年前
, 6F
10/18 01:38, 6F
→
10/18 01:40,
2年前
, 7F
10/18 01:40, 7F
→
10/18 13:32,
2年前
, 8F
10/18 13:32, 8F
→
10/18 13:33,
2年前
, 9F
10/18 13:33, 9F
推
10/18 15:26,
2年前
, 10F
10/18 15:26, 10F
→
10/18 15:27,
2年前
, 11F
10/18 15:27, 11F
→
10/18 15:28,
2年前
, 12F
10/18 15:28, 12F
→
10/18 21:13,
2年前
, 13F
10/18 21:13, 13F
→
10/18 21:14,
2年前
, 14F
10/18 21:14, 14F
→
10/18 21:14,
2年前
, 15F
10/18 21:14, 15F
→
10/19 01:58,
2年前
, 16F
10/19 01:58, 16F
→
10/19 14:12,
2年前
, 17F
10/19 14:12, 17F
→
10/19 14:12,
2年前
, 18F
10/19 14:12, 18F
→
10/19 14:14,
2年前
, 19F
10/19 14:14, 19F
→
10/19 14:14,
2年前
, 20F
10/19 14:14, 20F
→
10/19 14:18,
2年前
, 21F
10/19 14:18, 21F
→
10/19 14:18,
2年前
, 22F
10/19 14:18, 22F
→
10/19 14:20,
2年前
, 23F
10/19 14:20, 23F