Re: pytorch大師請進
※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
:
: pytorch在處理多GPU運算有data parallel跟distributed data parallel
:
: 我理解的前者是用multithread來解這問題 後者是multiprocess
:
: 在Python中 multithread要應對GIL 大量運算問題使用multithread其實不如單線程
:
: 所以data parallel實質單線程?
:
: 另外我昨天搞了個distributed data parallel
:
: 但accuracy比data parallel低超多 這為啥
:
: 超參數都一樣
:
: pytorch好難 哇哇嗚嗚嗚
:
救我 dp跟ddp到底要怎麼改超參數啊
我照chatgpt改 改完還是只上升一些
dp的準確率是0.7 ddp只有0.4
我照文檔做 結果直接報error
還有我明明用8片GPU
結果只要用2片以上搞DDP
馬上報error
dp明明就正常8片
頭好痛
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.135.95 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1734079944.A.C56.html
→
12/13 16:55,
1年前
, 1F
12/13 16:55, 1F
→
12/13 16:55,
1年前
, 2F
12/13 16:55, 2F
→
12/13 17:02,
1年前
, 3F
12/13 17:02, 3F
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 3 之 6 篇)：