Re: [問題] 透過R使用Rhdfs package讀取超大CSV檔

看板R_Language作者Wush978 (拒看低質媒體)時間10年前 (2014/05/22 13:32)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串3/5 (看更多)

※ 引述《dppman (*^o^*)》之銘言： : ※ 引述《dppman (*^o^*)》之銘言： : : [問題類型]: : : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) : : [軟體熟悉度]: : : 入門(寫過其他程式，只是對語法不熟悉) : : [問題敘述]: : : 使用R透過RHadoop的Rhdfs 1.0.8 : : [程式範例]: : : 我目前的實驗環境，需要讀取很大的CSV File（存放在Hadoop的HDFS上，檔案大小幾乎 : : 都大於20GB）， : : 我使用了RHdoop的rhdfs R Package : : Ref. : : https://github.com/RevolutionAnalytics/RHadoop/wiki : : 使用Rstudio Web版開發，原始碼如下 : : ************************************************************************************************* : : Sys.setenv(HADOOP_CMD="/usr/lib/hadoop/bin/hadoop") : : Sys.setenv(HADOOP_STREAMING="/usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-101.jar") : : Sys.setenv(HADOOP_COMMON_LIB_NATIVE_DIR="/usr/lib/hadoop/lib/native/") : : library(rmr2); : : library(rhdfs); : : library(lubridate); : : hdfs.init(); : : f = hdfs.file("/bigdata/rawdata/201312.csv","r",buffersize=104857600); : : m = hdfs.read(f); : : c = rawToChar(m); : : data = read.table(textConnection(c), sep = ","); : : ************************************************************************************************* : : 讀完後，發現它只讀進了前一千五百多筆的資料，正確應該有一億多筆 : : ************************************************************************************************* : : 去Google了一下，有查到下列這個解的方向 : : “rhdfs uses the java api for reading files stored in hdfs. : : That api will not necessarily read the entire file in one shot. : : It will return some number of bytes for each read. : : When it reaches the end of the file it returns -1. : : In the case of rhdfs, and end of the file will return NULL. : : So, you need to loop on the hdfs.read call until NULL is returned” : : 不過看了rhdfs的手冊，並沒有仔細提到上面解法關於hdfs.read()的行為:< : : 不知道有人有這方面經驗嗎？ : : [關鍵字]: : : R, Large Scale Data Set, Big Data, Hadoop, RHadoop, CSV, HDFS, rhdfs : : Thanks in advance! : 我試了repeat： : repeat { : m = hdfs.read(f) : c = rawToChar(m) : print(c) : if ( is.null(c) ) break : } : 可是跑好久還沒跑完... : 我是用Web版的RStudio開發，看了一下m的type是raw... : Sorry..我只剩C還在腦中有，R實在跟他不熟.... : 不知道是否有人可以指點一下...，這樣的寫法是否OK？怎麼增加效能呢？ : Thanks in advance! : 　建議你先測量一下throughput ```r start.time <- Sys.time() repeat { m = hdfs.read(f) duration <- as.numeric(difftime(Sys.time(), start.time, unit = "secs")) print(length(m) / duration) # 每秒的bytes數 start.time <- Sys.time() } ``` 先看一下hdfs.read的效能，如果throughput是1MB / s的速度的話 20G 需要 20*2^30 / 2^20 秒，大約是5.6小時 --- 也建議你另外量測一下hdfs fs -put 的頻寬，拿來和你在R 裏面的測到的throughput做比較。兩者的差距是你可以在R 裡面優化的程度。所以如果兩者差不多快的話，其實你R 怎麼改也是這樣。 FYI -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.135.56.60 ※ 文章網址: http://www.ptt.cc/bbs/R_Language/M.1400736744.A.C95.html ※ 編輯: Wush978 (220.135.56.60), 05/22/2014 13:33:22