[問題] Tensorflow session 初始化時間很久
作業系統: WIN10 64
問題類別: DL、CNN
使用工具: Keras-2.3.1
Tensorflow-2.1.0
cudnn-7.6.5
Cuda-10.1.243
硬體配置: I5-8400、技嘉GTX3090、RAM64G
同樣的程式碼，都配置同樣的虛擬環境
我在2080Ti在初始化模型訓練的過程大概花費2~3分鐘
但換成3090時卻需要20分鐘，如附圖
https://imgur.com/zxhyJre
模型是一個Binary classification model
簡單說明一些使用的參數:
image_size: 224x224x3
Batch_size: 32
Optimizer: Adam
CNN架構僅是五層的2Dconv+BN+ReLU
最後面接GAP+Dense(32)+Dense(1)
藍色處是第一次model.complie()，花費五分鐘
紅色處是第一次model.fit_generator，花費十七分鐘
而即使啟動訓練後，模型也感覺沒在訓練，train loss僅有些微的變動
val_loss跟val_accuracy則是完全沒變。
但相同的程式碼我在另外一台跑是正常且loss會收斂的。
我有考量到是不是GPU有問題，我知道之前國外有crash的災情
目前驅動已經更新到最新版(456.71)
我搜尋網上沒有找到類似的問題(但我覺得可能是我不太會找)
還請各位高手替我解惑，先謝謝各位了
-------------------------------------------------------
由於30系列的顯卡目前只支援cuda11.1
所以若要正常使用tensorflow做訓練目前我搜尋到的結果只有兩種
1. 自己重新編譯一版能支援cuda11.1的tensorflow
2. 用tf-nightly (tensorflow-2.4 以上的版本似乎都有支援Cuda11.1)
我目前是用第二種，現在訓練的狀況就正常了
也分享一下我自己建環境的心得
https://tinyurl.com/y6o83p6w
最後謝謝各位留言回覆的大神們幫忙
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.175.112.198 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1603378080.A.104.html
※ 編輯: gilingking (1.175.112.198 臺灣), 10/22/2020 23:07:02
推
10/22 23:55,
3年前
, 1F
10/22 23:55, 1F
→
10/22 23:55,
3年前
, 2F
10/22 23:55, 2F
→
10/23 00:03,
3年前
, 3F
10/23 00:03, 3F
→
10/23 00:03,
3年前
, 4F
10/23 00:03, 4F
→
10/23 00:15,
3年前
, 5F
10/23 00:15, 5F
→
10/23 00:17,
3年前
, 6F
10/23 00:17, 6F
→
10/23 00:18,
3年前
, 7F
10/23 00:18, 7F
→
10/23 00:18,
3年前
, 8F
10/23 00:18, 8F
→
10/23 00:19,
3年前
, 9F
10/23 00:19, 9F
→
10/23 00:19,
3年前
, 10F
10/23 00:19, 10F
→
10/23 00:52,
3年前
, 11F
10/23 00:52, 11F
→
10/23 08:23,
3年前
, 12F
10/23 08:23, 12F
→
10/23 08:23,
3年前
, 13F
10/23 08:23, 13F
→
10/25 21:40,
3年前
, 14F
10/25 21:40, 14F
推
10/29 19:06,
3年前
, 15F
10/29 19:06, 15F
推
10/29 19:07,
3年前
, 16F
10/29 19:07, 16F
推
10/29 19:10,
3年前
, 17F
10/29 19:10, 17F
→
10/30 09:54,
3年前
, 18F
10/30 09:54, 18F
※ 編輯: gilingking (49.216.244.8 臺灣), 10/30/2020 10:24:41