[分享] MxNet CSVIter

看板R_Language作者celestialgod (天)時間8年前 (2017/04/16 00:42)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

[關鍵字]: MxNet, deep learning, large dataset, mx.io.CSVIter [出處]: http://chingchuan-chen.github.io/posts/2017/04/16/mxnet-io-csviter [重點摘要]: 本篇的重點在於下面這段R，用MxNet提供的mx.io.CSVIter去batch的訓練Net模型而這裡的`train-64x64-data.csv`，每一行都是經過resized的30`張圖片所以`data.shape`是`64 x 64 x 30` 而label則每一行是長度600的binary vector，其`shape`設定成`600` 然後給好`batch.size`，MxNet就可以批次的從csv抓資料出來train模型了不用一股腦地把資料全部匯入到R/gpu裡面跑，不然再多的記憶體也用不完Orz ``` R data_train <- mx.io.CSVIter( data.csv = "train-64x64-data.csv", data.shape = c(64, 64, 30), label.csv = "train-systole.csv", label.shape = 600, batch.size = batch_size ) ``` -- R資料整理套件系列文： magrittr #1LhSWhpH (R_Language) https://goo.gl/72l1m9 data.table #1LhW7Tvj (R_Language) https://goo.gl/PZa6Ue dplyr(上.下) #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/I5xX9b tidyr #1Liqls1R (R_Language) https://goo.gl/i7yzAz pipeR #1NXESRm5 (R_Language) https://goo.gl/zRUISx -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.26.70 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1492274557.A.348.html ※ 編輯: celestialgod (111.246.26.70), 04/16/2017 00:45:38