[問題] 關於Tensorflow的多gpu運算

看板DataScience作者gn02516700 (oopa也是小豬~)時間6年前 (2018/04/09 15:41)推噓6(6推 0噓 7→)

留言13則, 3人參與討論串1/1

作業系統: win7 類別:DL 使用工具:tensorflow-gpu 1.7.0, CUDA : 9.0, CuDnn : 7.0.5 問題內容: 各位版上大神好，不知道這個問題適不適合在這個版問，如果不適合會自刪小弟有在打Kaggle的2018 DSBL時有用到Mask RCNN做Instance segmentation遇到一個問題就是Mask RCNN裡面有一個config檔案可以設定要用幾個GPU去做運算還有設定每一個GPU可以train幾張圖片(底下是該config檔連結) https://goo.gl/fB5mo6 而一個batch_size就是GPU數量*一張GPU要train幾張圖片，訓練時的圖片大小都是512*512 我之前只有單一片1070設定GPU_count = 1, IMAGE_PER_GPU = 2時可以執行但訓練到第三個階段就會OOM，所以之後都是設定GPU_count = 1, IMAGE_PER_GPU = 1 然後訓練一個epoch大約是1200秒左右。而最近拿到了兩片1080 ti就換上去也有SLI，想說兩張1080 ti可以把設定調高但是不管怎樣都會OOM，就連設定GPU_count = 1, IMAGE_PER_GPU = 2在第一階段就會OOM 只有在GPU_count = 1, IMAGE_PER_GPU = 1才可以執行不會OOM 而在上面的條件下訓練一個epoch變成大約1000秒左右也就是說兩片1080 ti才比一片1070快200秒左右。我有下載GPU-Z來看GPU的情況，發現到兩張1080ti都是memory滿載但是load才5%不到有看到其他kaggler有兩張1080ti的訓練一個epoch大約是300秒同樣都是1080ti下我的執行時間卻是他們的好幾倍，甚至連batch_size都只能設定為1 想請問各位前輩們是不是我少設定什麼或是有什麼建議的，謝謝各位 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.128.240.196 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1523259676.A.148.html

推

hl4

04/09 16:47, 6年前 , 1^F

04/09 16:47, 1^F

→

hl4

04/09 16:48, 6年前 , 2^F

04/09 16:48, 2^F

我試試看調整這些參數看看謝謝

推

goldflower

04/09 17:21, 6年前 , 3^F