Re: [問題] data.frame資料處理

看板R_Language作者celestialgod (天)時間10年前 (2015/09/15 21:59)推噓1(1推 0噓 0→)

留言1則, 1人參與討論串2/2 (看更多)

原問題：想進一步請問在一個data.frame中 No1消費者有A B C D四種消費時間點 A1代表No1 在第一次消費時點的消費金額 A2 A3 A4 A5代表No1第一次消費時點的其他狀態(停留時間、點擊商品數量..等˙) B1 代表No1 在第二次消費時點的消費金額 B2 B3 B4 B5代表No2第二次消費時點的其他狀態欲拿掉消費金額<5的群組 (即判斷每個群組的第一位是否<5，若<5，則將其消費伴隨的狀態也移除) 剩餘的往左靠齊 No A1 A2 A3 A4 A5 | B1 B2 B3 B4 B5 | C1 C2 C3 C4 C5 | D1 D2 D3 D4 D5 1 5 6 3 2 1 | 10 11 12 13 14 | 1 1 2 3 4 | 5 5 5 5 9 2 1 2 3 4 5 | 1 1 1 1 1 | 5 8 7 6 5 | 5 3 2 1 0 第一位消費者的A1 B1 D1 >=5 則留下ABD三個群組第二位消費者的C1 D1 >=5 則留下CD 兩個群組靠右平移成為以下table | | | No A1 A2 A3 A4 A5 | B1 B2 B3 B4 B5 | C1 C2 C3 C4 C5 | D1 D2 D3 D4 D5 1 5 6 3 2 1 | 10 11 12 13 14 | 5 5 5 5 9 | 2 5 8 7 6 5 | 5 3 2 1 0 | | 我不清楚你原始的column name是否這麼regular... 我定義一個block就是相同名稱開頭的名稱，例如： A1~A5這樣稱做一個block，B1~B5亦是一個block 我的目標就是根據block的第一個元素去把該block設定為0或是不是0 block設定成0之後就回到你原本的左移案子了~~ 但是要執行這個基本上就是只能用eval了... 因為有太多column不可能，手動去處理這些column 因此，我給了兩個eval方式一個是用mutate_，另一個是單純的eval 我個人是覺得單純的eval難寫滿多的但是mutate_要需要相對多的東西才能累積出來... 所以我無法肯定哪一個方法比較好我自己本身對於mutate_這函數跟lazyeval這個套件都沒有很熟悉下面的程式提供參考好讀的程式碼：http://pastebin.com/NCAvfmfP library(data.table) library(dplyr) library(magrittr) N = 10 T = 5 nItem = 4 m = matrix(rbinom(N*T*nItem, 15, 0.4), N) dat = data.table(id = 1:nrow(m), m) %>% setnames(paste0("V",1:20), paste0(rep(LETTERS[1:nItem],,, T), rep(1:T, nItem))) varChecking = names(dat)[grepl("[A-Z]1", names(dat))] f = function(x) ifelse(x < 5, 0, x) dat_out = mutate_each_(dat, funs(f), varChecking) namesWorking = gsub("([A-Z])1", "\\1", varChecking) varsWorking = paste0(rep(namesWorking,,,T-1), rep(2:T,nItem)) ## method 1 cmd = paste0('ifelse(', rep(namesWorking,,,T-1), '1<5,0,', varsWorking, ')') mutate_(dat_out, .dots= setNames(lapply(cmd, lazyeval:::interp), varsWorking)) ## method 2 eval(parse(text = paste0('dat_out=mutate(dat_out,', paste0(varsWorking, '=ifelse(', rep(namesWorking,,,T-1), '1<5,0,', varsWorking, ')', collapse = ","), ')'))) 最後提供一個簡單的方法，但是我怕記憶會爆掉XD varWorking = gsub('([A-Z])\\d', '\\1', names(dat)) %>% unique %>% setdiff('id') llply(varWorking, function(x){ tmp_dat = dat %>% select(starts_with(x)) tmp_dat %<>% setnames(paste0("V", 1:ncol(tmp_dat))) f = function(x) ifelse(tmp_dat$V1 > 5, x, 0) tmp_dat %<>% mutate_each(funs(f)) %>% setnames(paste0(x, 1:ncol(tmp_dat))) tmp_dat }) %>% bind_cols %>% tbl_dt %>% mutate(id = dat$id) 最後補一個執行時間 N = 20000; T = 10; nItem = 1000 method 1: 68.03 method 2: 66.75 method 3: 53.87 測試程式碼：http://pastebin.com/HbVzPh6D 基本上，method 1跟method 2差不多，method 3用空間換時間所以看你的data.frame大小跟你的記憶體來選適合你的方法吧 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1442325572.A.8B0.html