Re: [問題] 讀取JSON 整理表格後輸出成CSV

看板R_Language作者celestialgod (天)時間8年前 (2017/02/19 02:52)推噓1(1推 0噓 0→)

留言1則, 1人參與討論串2/2 (看更多)

※ 引述《ginseng21 (SweetCow)》之銘言： : [問題類型]: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) : 效能諮詢(我想讓R 跑更快) : [軟體熟悉度]: : 入門(寫過其他程式，只是對語法不熟悉) : [問題敘述]: : 我想要從建管Open Data平台上撈出新北市板橋區的使用執照 : 然後依照每個地址展開表格，希望得到每個地址後面有對應的基本資料 : 之後再將表格輸出為CSV檔案 : 平台提供的介接服務一次只能傳回100筆資料，而每一筆資料會有1~多筆地址 : 我只有想到兩個for迴圈的寫法，不曉得是否能用lapply寫來提升效能??? : 而嘗試過後發現這樣表格會太大張 : 因此我改成將每筆地址與對應的ID輸出一份CSV檔案 : 每個基本資料與對應的ID再輸出成另一份CSV檔案 : 我在嘗試的過程中，有一段使用rbind.data.frame會錯，但使用rbind.pages卻成功 : 也想要請教rbind.data.frame錯誤的原因??? : 介接服務網址: : http://building-apply.publicwork.ntpc.gov.tw/opendata/ : OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC : &%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80 : &Start=1 : 介接說明:http://mcgbm.taichung.gov.tw/opendata/docs/a1.html : [程式範例]: : url <-'http://building-apply.publicwork.ntpc.gov.tw/opendata/ : OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC : &%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80 : &Start=' : urltmp <- list() : datatmp <- list() : addreall <- list() : info <- list() : st1 = Sys.time(); : for( i in 1:10) #假設資料是1000筆以內 : { : st = Sys.time(); : urltmp [i] <- paste(url,(i-1)*100+1,sep="") : # 將每個介接網址用LIST儲存 : # 介接網址的Start=可以控制從第幾筆資料開始提供100筆 : datatmp <- as.data.frame(fromJSON(urltmp[[i]])) : addre <- datatmp$data.門牌 : ID <- datatmp$data._id : for (t in 1:100) : {addre[[t]]$ID <-ID[t,]} : #將每一筆的門牌串上ID : addreall[[i]] <- do.call(rbind.data.frame, addre) : info[[i]] <- as.data.frame(datatmp[,1:27]) : # 1:27列是基本資料 : # 將每筆資料的門牌合併後用LIST儲存 : # 將每筆資料的基本資料用LIST儲存 : ed = Sys.time(); : print(ed-st) : print(i) : } : all <- do.call(rbind.data.frame, addreall) : infotmp <- rbind.pages(info) : # 將迴圈內的儲存的LIST合併，準備輸出 : # info這一段我用rbind.data.frame都會跳出錯誤錯誤訊息如下 : infoall <- cbind(infotmp[,1],infotmp[,2:27]) : # 這一段不用cbind處理的話，輸出的ID那列會出問題。不曉得ID那列的格式是否不同 : write.csv(all,"address.csv",row.names=F,quote=F) : write.csv(infoall,"info.csv",row.names=F,quote=F) : # 輸出CSV檔案 : ed1 = Sys.time(); : print(ed1-st1) : ---------------------------------- : rbind.data.frame的錯誤訊息 : Error in `row.names<-.data.frame`(`*tmp*`, value = value) : : duplicate 'row.names' are not allowed : In addition: Warning message: : non-unique values when setting 'row.names': ...... : [環境敘述]: : R version 3.3.0 (2016-05-03) : Platform: x86_64-w64-mingw32/x64 (64-bit) : Running under: Windows >= 8 x64 (build 9200) : locale: : [1] LC_COLLATE=Chinese (Traditional)_Hong Kong SAR.950 : [2] LC_CTYPE=Chinese (Traditional)_Hong Kong SAR.950 : [3] LC_MONETARY=Chinese (Traditional)_Hong Kong SAR.950 : [4] LC_NUMERIC=C : [5] LC_TIME=Chinese (Traditional)_Hong Kong SAR.950 : attached base packages: : [1] stats graphics grDevices utils datasets methods base : loaded via a namespace (and not attached): : [1] tools_3.3.0 : [關鍵字]: : rbind, rbind.data.frame, data.table, do.call, lapply 好讀版：http://pastebin.com/x01dmuPT 我只幫你解決了performance的問題，用parallel這個套件做平行 rbind.pages的問題就看誰有空再回你了~~ library(httr) library(parallel) queryUrl <- "http://building-apply.publicwork.ntpc.gov.tw/opendata/OpenDataSearchUrl.do" query <- list(d = "OPENDATA", c= "BUILDLIC", "門牌.行政區" = "板橋區") # luancher several Rscript cl <- makeCluster(detectCores()) # export variables to Rscript clusterExport(cl, c("query", "queryUrl")) # import library in each Rscript invisible(clusterEvalQ(cl, library(httr))) invisible(clusterEvalQ(cl, library(jsonlite))) st <- proc.time() # GET JSON file parallely dataList <- parLapplyLB(cl, seq(1, by = 100, length.out = 100), function(i){ # 取得 JSON jsonFile <- content(GET(queryUrl, user_agent("R"), query = c(query, Start = i)), "text") # parse JSON tmp <- fromJSON(jsonFile)$data # 取得id id <- tmp[["_id"]][["$oid"]] # 取得address這個data.frame並加上id address <- do.call(rbind, mapply(function(x, y) cbind(id = x, y), id, tmp[["門牌"]], SIMPLIFY = FALSE)) # 取得其他欄位資訊，並取得id info <- cbind(id = id, tmp[ , 2:26]) return(list(address, info)) }) proc.time() - st stopCluster(cl) # user system elapsed # 0.06 0.00 94.97 # method 1: 直接用lapply + do.call + rbind去處理 st <- proc.time() addressAll <- do.call(rbind, lapply(dataList, `[[`, 1)) infoAll <- do.call(rbind, lapply(dataList, `[[`, 2)) write.csv(addressAll, "address.csv", row.names = FALSE, quote = FALSE) write.csv(infoAll, "info.csv", row.names = FALSE, quote = FALSE) proc.time() - st # user system elapsed # 0.52 0.03 0.54 # method 2: 使用purrr的transpose，不過purrr的dep超多，安裝起來滿麻煩的 library(purrr) st <- proc.time() datas <- lapply(transpose(dataList), function(x) do.call(rbind, x)) write.csv(datas[[1]], "address.csv", row.names = F, quote = FALSE) write.csv(datas[[2]], "info.csv", row.names = F, quote = FALSE) proc.time() - st # user system elapsed # 0.50 0.01 0.51 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.232.189.71 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1487443941.A.A93.html ※ 編輯: celestialgod (36.232.189.71), 02/19/2017 02:58:32