pytorch大師請進

看板Marginalman作者 (溫水佳樹的兄長大人)時間1年前 (2024/12/13 07:12), 編輯推噓0(0推 0噓 4→)
留言4則, 2人參與, 1年前最新討論串1/6 (看更多)
pytorch在處理多GPU運算有data parallel跟distributed data parallel 我理解的前者是用multithread來解這問題 後者是multiprocess 在Python中 multithread要應對GIL 大量運算問題使用multithread其實不如單線程 所以data parallel實質單線程? 另外我昨天搞了個distributed data parallel 但accuracy比data parallel低超多 這為啥 超參數都一樣 pytorch好難 哇哇嗚嗚嗚 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.135.95 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1734045143.A.E44.html
→
12/13 07:22, 1年前 , 1F
一樣就錯了吧 batch size dp會是ddp的n倍
12/13 07:22, 1F
→
12/13 07:22, 1年前 , 2F
n= gpu數量
12/13 07:22, 2F
→
12/13 07:25, 1年前 , 3F
R 合理 我再研究一下超參數要怎麼改
12/13 07:25, 3F
→
12/13 07:26, 1年前 , 4F
我想說正常train是0.7 搞ddp就剩0.3
12/13 07:26, 4F
‣ 更多 sustainer123 的文章
文章代碼(AID): #1dMstNv4 (Marginalman)
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 1 之 6 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共6篇)
‣ 更多 sustainer123 的文章
文章代碼(AID): #1dMstNv4 (Marginalman)