[問題] 深度學習 圖片儲存

看板DataScience作者 (【積π】)時間3年前 (2020/12/05 01:26), 3年前編輯推噓4(404)
留言8則, 4人參與, 3年前最新討論串1/1
想請教個圖片儲存的問題 若每天都產生10萬張左右的圖片 一張圖片約3kb 所以一天約300mb的圖片 深度學習的模型需要定期re-train 也可以定期清圖片 想請問板上各位大大 圖片如何儲存較好 目前我會的只有把圖片路徑資訊寫入DB 圖片存放在硬碟 是否還有別的更有效率的重複使用的方法 麻煩各位大大開釋了 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.182.151 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1607102811.A.BA5.html ※ 編輯: ctr1 (118.160.182.151 臺灣), 12/05/2020 02:16:26

12/05 02:38, 3年前 , 1F
npy檔
12/05 02:38, 1F

12/05 03:09, 3年前 , 2F
lmdb dali
12/05 03:09, 2F

12/05 21:46, 3年前 , 3F
HDF常用而且讀取效率高,寫Tensorflow的話TFRecord也
12/05 21:46, 3F

12/05 21:46, 3年前 , 4F
不錯,Pytorch可以嘗試zarr。
12/05 21:46, 4F

12/10 09:47, 3年前 , 5F
冒昧問, 為什麼不用 png 檔? loseless. 路徑我是
12/10 09:47, 5F

12/10 09:48, 3年前 , 6F
動態生成(有一定的 format), dataloader 的
12/10 09:48, 6F

12/10 09:48, 3年前 , 7F
num_workers 設定大一些. (我是指 pytorch)
12/10 09:48, 7F

12/10 09:49, 3年前 , 8F
我每一張 file size 約 30K
12/10 09:49, 8F
文章代碼(AID): #1Vod5Rkb (DataScience)