PTT數位生活區 / DataScience

[問題] 深度學習 圖片儲存

看板DataScience作者 (【積π】)時間4年前 (2020/12/05 01:26), 4年前編輯推噓4(4推 0噓 4→)
留言8則, 4人參與, 4年前最新討論串1/1
想請教個圖片儲存的問題 若每天都產生10萬張左右的圖片 一張圖片約3kb 所以一天約300mb的圖片 深度學習的模型需要定期re-train 也可以定期清圖片 想請問板上各位大大 圖片如何儲存較好 目前我會的只有把圖片路徑資訊寫入DB 圖片存放在硬碟 是否還有別的更有效率的重複使用的方法 麻煩各位大大開釋了 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.160.182.151 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1607102811.A.BA5.html ※ 編輯: ctr1 (118.160.182.151 臺灣), 12/05/2020 02:16:26
推
12/05 02:38, 4年前 , 1F
npy檔
12/05 02:38, 1F
推
12/05 03:09, 4年前 , 2F
lmdb dali
12/05 03:09, 2F
推
12/05 21:46, 4年前 , 3F
HDF常用而且讀取效率高，寫Tensorflow的話TFRecord也
12/05 21:46, 3F
→
12/05 21:46, 4年前 , 4F
不錯，Pytorch可以嘗試zarr。
12/05 21:46, 4F
推
12/10 09:47, 4年前 , 5F
冒昧問, 為什麼不用 png 檔? loseless. 路徑我是
12/10 09:47, 5F
→
12/10 09:48, 4年前 , 6F
動態生成(有一定的 format), dataloader 的
12/10 09:48, 6F
→
12/10 09:48, 4年前 , 7F
num_workers 設定大一些. (我是指 pytorch)
12/10 09:48, 7F
→
12/10 09:49, 4年前 , 8F
我每一張 file size 約 30K
12/10 09:49, 8F
‣ 更多 ctr1 的文章
文章代碼(AID): #1Vod5Rkb (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ctr1 的文章
文章代碼(AID): #1Vod5Rkb (DataScience)