Re: [問題] 資料整理

看板R_Language作者 (攸藍)時間9年前 (2015/07/27 10:54), 9年前編輯推噓1(108)
留言9則, 2人參與, 最新討論串3/5 (看更多)
※ 引述《Udyr (Udyr)》之銘言: : [問題類型]: : 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來) : [軟體熟悉度]: : 請把以下不需要的部份刪除 : 入門(寫過其他程式,只是對語法不熟悉) : [問題敘述]: : 資料形式為list : $`875523` : [1] "A" "B" "E" "C" "D" "G" : $`881823` : [1] "B" "D" "F" "E" : 想將資料整理為以下格式 : A B C D E F G : 875523 1 1 1 1 1 0 1 : 881823 0 1 0 0 1 1 0 A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)]) names(A_list) = c("875523", "881823") all_levels = sort(unique(unlist(A_list))) out = sapply(A_list, function(x) { tmp = rep(0, length(all_levels)) tmp[match(x, all_levels)] = 1 tmp }) out = t(out) colnames(out) = all_levels out ## A B C D E F G ## 875523 1 1 1 1 1 0 1 ## 881823 0 1 0 1 1 1 0 ## 如果A, B, C, ...不是只有一個,sapply內部要做更改 out = sapply(A_list, function(x) { x2 = tapply(rep(1,length(x)), x, sum) tmp = rep(0, length(all_levels)) tmp[match(names(x2), all_levels)] = x2 tmp }) ## method 2 (可以查看前面的資料整理套件介紹的系列文) library(reshape2) library(data.table) library(plyr) library(dplyr) library(magrittr) A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)]) names(A_list) = c("875523", "881823") DT = llply(1:length(A_list), function(i){ data.table(id = names(A_list)[i], level = A_list[[i]]) }) %>% bind_rows DT %>% dcast(id ~ level) ## id A B C D E F G ## 1 875523 1 1 1 1 1 0 1 ## 2 881823 0 1 0 1 1 1 0 ## use sparse matrix library(Matrix) A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)]) names(A_list) = c("875523", "881823") all_levels = sort(unique(unlist(A_list))) j_index = lapply(A_list, match, table = all_levels) i_index = lapply(1:length(out), function(x) rep(x, length(out[[x]]))) i_index = as.integer(unlist(i_index)-1) j_index = as.integer(unlist(j_index)-1) out = new("dgTMatrix", i = i_index, j = j_index, x=rep(1,length(i_index)), Dim=c(length(A_list), length(all_levels))) 如果是all_levels無法配置足夠的記憶體的話 請使用迴圈用setdiff做人工的unique... 這裡沒考慮大於1的可能性,如果大於1需要比較複雜的運算 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1437965677.A.A6F.html

07/27 20:18, , 1F
謝謝你的回答
07/27 20:18, 1F

07/27 20:18, , 2F
但因為資料量太過龐大
07/27 20:18, 2F

07/27 20:19, , 3F
Error: cannot allocate vector of size 1.5 Gb
07/27 20:19, 3F

07/27 20:20, , 4F
最終要做的是找association rule
07/27 20:20, 4F

07/27 20:20, , 5F
需要把資料轉為transaction 形式
07/27 20:20, 5F

07/27 20:21, , 6F
請問有沒有其他方法可以將原始資料轉為transaction 形式
07/27 20:21, 6F
我不確定你是處理過程,還是最終沒法儲存那麼大的結果 如果是處理過程,我就沒有其他方法做 如果是最終無法儲存那麼大的結果就善用sparse matrix吧 ※ 編輯: celestialgod (123.205.27.107), 07/28/2015 09:47:43

07/28 22:58, , 7F
如果要轉成transaction,也許你可以直接先一行一行寫到
07/28 22:58, 7F

07/28 22:59, , 8F
檔案(依照read.transactions能吃的格式)
07/28 22:59, 8F

07/28 22:59, , 9F
然後直接用read.transactions讀進來
07/28 22:59, 9F
文章代碼(AID): #1LjPrjfl (R_Language)
討論串 (同標題文章)
本文引述了以下文章的的內容:
完整討論串 (本文為第 3 之 5 篇):
2
5
0
5
文章代碼(AID): #1LjPrjfl (R_Language)