[問題] 讀取JSON 整理表格後輸出成CSV

看板R_Language作者ginseng21 (SweetCow)時間8年前 (2017/02/19 01:22)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/2 (看更多)

[問題類型]: 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) 效能諮詢(我想讓R 跑更快) [軟體熟悉度]: 入門(寫過其他程式，只是對語法不熟悉) [問題敘述]: 我想要從建管Open Data平台上撈出新北市板橋區的使用執照然後依照每個地址展開表格，希望得到每個地址後面有對應的基本資料之後再將表格輸出為CSV檔案平台提供的介接服務一次只能傳回100筆資料，而每一筆資料會有1~多筆地址我只有想到兩個for迴圈的寫法，不曉得是否能用lapply寫來提升效能??? 而嘗試過後發現這樣表格會太大張因此我改成將每筆地址與對應的ID輸出一份CSV檔案每個基本資料與對應的ID再輸出成另一份CSV檔案我在嘗試的過程中，有一段使用rbind.data.frame會錯，但使用rbind.pages卻成功也想要請教rbind.data.frame錯誤的原因??? 介接服務網址: http://building-apply.publicwork.ntpc.gov.tw/opendata/ OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC &%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80 &Start=1 介接說明:http://mcgbm.taichung.gov.tw/opendata/docs/a1.html [程式範例]: url <-'http://building-apply.publicwork.ntpc.gov.tw/opendata/ OpenDataSearchUrl.do?d=OPENDATA&c=BUILDLIC &%E9%96%80%E7%89%8C.%E8%A1%8C%E6%94%BF%E5%8D%80=%E6%9D%BF%E6%A9%8B%E5%8D%80 &Start=' urltmp <- list() datatmp <- list() addreall <- list() info <- list() st1 = Sys.time(); for( i in 1:10) #假設資料是1000筆以內 { st = Sys.time(); urltmp [i] <- paste(url,(i-1)*100+1,sep="") # 將每個介接網址用LIST儲存 # 介接網址的Start=可以控制從第幾筆資料開始提供100筆 datatmp <- as.data.frame(fromJSON(urltmp[[i]])) addre <- datatmp$data.門牌 ID <- datatmp$data._id for (t in 1:100) {addre[[t]]$ID <-ID[t,]} #將每一筆的門牌串上ID addreall[[i]] <- do.call(rbind.data.frame, addre) info[[i]] <- as.data.frame(datatmp[,1:27]) # 1:27列是基本資料 # 將每筆資料的門牌合併後用LIST儲存 # 將每筆資料的基本資料用LIST儲存 ed = Sys.time(); print(ed-st) print(i) } all <- do.call(rbind.data.frame, addreall) infotmp <- rbind.pages(info) # 將迴圈內的儲存的LIST合併，準備輸出 # info這一段我用rbind.data.frame都會跳出錯誤錯誤訊息如下 infoall <- cbind(infotmp[,1],infotmp[,2:27]) # 這一段不用cbind處理的話，輸出的ID那列會出問題。不曉得ID那列的格式是否不同 write.csv(all,"address.csv",row.names=F,quote=F) write.csv(infoall,"info.csv",row.names=F,quote=F) # 輸出CSV檔案 ed1 = Sys.time(); print(ed1-st1) ---------------------------------- rbind.data.frame的錯誤訊息 Error in `row.names<-.data.frame`(`*tmp*`, value = value) : duplicate 'row.names' are not allowed In addition: Warning message: non-unique values when setting 'row.names': ...... [環境敘述]: R version 3.3.0 (2016-05-03) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows >= 8 x64 (build 9200) locale: [1] LC_COLLATE=Chinese (Traditional)_Hong Kong SAR.950 [2] LC_CTYPE=Chinese (Traditional)_Hong Kong SAR.950 [3] LC_MONETARY=Chinese (Traditional)_Hong Kong SAR.950 [4] LC_NUMERIC=C [5] LC_TIME=Chinese (Traditional)_Hong Kong SAR.950 attached base packages: [1] stats graphics grDevices utils datasets methods base loaded via a namespace (and not attached): [1] tools_3.3.0 [關鍵字]: rbind, rbind.data.frame, data.table, do.call, lapply -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.115.220 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1487438576.A.054.html