[家教] PyTorch Seq2seq 協助檢查模型

看板HomeTeach作者 (PomeloLaLa)時間1年前 (2022/05/07 00:49), 1年前編輯推噓4(403)
留言7則, 4人參與, 1年前最新討論串1/1
1.對象: 大三資工系男生 2.地點: 線上 3.科目:協助檢查 PyTorch 基礎 ImageCaptioning Seq2Seq 模型是否有出錯 4.上課時間:週五六日一二三晚上皆可,預估需要2~3小時,視狀況而定 5.時薪:800,可再議 6.條件:熟悉 PyTorch,有 Seq2Seq 訓練經驗尤佳 7.聯絡方式:站內信 8.附註: 基本上出問題的是Image Captioning實驗裡最基礎的 baseline model 無法收斂 是很簡單、不超過10層的 model,但是因為剛接觸 PyTorch,所以不確定哪裡可能出狀況 希望您能夠協助我檢查模型建立、訓練過程 不過不用擔心沒接觸過Image Captioning,因為就只是基本的Seq2seq模型而已 有意者請站內信簡述曾實做過的 PyTorch model,謝謝! ---- 如使用者對於本篇文章想回覆者,請記得按M,回覆至作者信箱。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.224.75.46 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/HomeTeach/M.1651855740.A.CCE.html ※ 編輯: b90022790 (61.224.75.46 臺灣), 05/07/2022 00:50:57

05/07 10:41, 1年前 , 1F
是cross entropy loss 沒有minimize嗎
05/07 10:41, 1F

05/07 12:12, 1年前 , 2F
有時候是data 沒處理好 可以依序檢查 1. data 是不是你想
05/07 12:12, 2F

05/07 12:12, 1年前 , 3F
要的樣子 2. gradient 3. 其他參數的調整 e.g., learning
05/07 12:12, 3F

05/07 12:12, 1年前 , 4F
rate / batch size 4. 檢查你的每層 model 的 output 5.
05/07 12:12, 4F

05/07 12:12, 1年前 , 5F
optimizer
05/07 12:12, 5F

05/07 12:44, 1年前 , 6F
SGD換ADAM常常就可以逃出局部低窪區
05/07 12:44, 6F

05/07 14:14, 1年前 , 7F
推文讓人趁機筆記
05/07 14:14, 7F
謝謝推文熱心協助,不過可能還是需要類似mentor的角色協助 ※ 編輯: b90022790 (122.118.119.48 臺灣), 05/07/2022 15:10:33
文章代碼(AID): #1YTL5ypE (HomeTeach)