Re: [問題] sql 指令階層資料整理

看板R_Language作者cywhale (cywhale)時間8年前 (2016/12/30 07:32)推噓1(1推 0噓 4→)

留言5則, 2人參與討論串2/2 (看更多)

因為邏輯逆反(前面的值必須仰賴後面的row才知道)，而且特例很多，似乎很難向量化處理，就是必須做苦工，一行一行去掃但你的例子中，有些邏輯很怪，我想，有些特例就留給你處理，我提供一個有點醜，但可以解決大部分情況的例子程式不會難，可能有其他漂亮的解決方式，但如果你還有更多特例在你實際的案例中的話，那其實也是沒轍.... 所以最重要的是，還是你最熟悉自己案例的人得下去跟這些if..else.. cases磨。才能建立好這一整套parse流程。 library(data.table) library(magrittr) fcon <- file("D:/R/example/ptt_try_sql.txt", "r") ftxt <- readLines(fcon) close(fcon) ## directly copy from your question in ptt web, as input print(ftxt) ## parse your input trimx <- function(x) gsub('^\\s+|\\){0,}\\s{0,}\\"{0,}\\s+$','', x) txt1 <- trimx(ftxt) sqlcmd <- c("select","insert","join","delete","create") sqlio <- c("from","into","table") rstart <- c("insert","delete") rstop <- c("select","create") rinter <- c("join") s1 <- regexpr(paste(sqlcmd,collapse = "|"), txt1, ignore.case = TRUE) t1 <- regexpr(paste(sqlio,collapse = "|"), txt1, ignore.case = TRUE) ## First step, get a command - destination table sqlt <- data.table(cmd=trimx(substr(x=txt1, start=s1, stop=s1+attributes(s1)$match.length-1)), tbl=trimx(substr(x=txt1, start=t1+attributes(t1)$match.length, stop=ifelse(t1==-1,-1,nchar(txt1))))) ## Second step, one-by-one line to scan and handle if..else cases gcnt <- 0L ccnt <- 0L clv <- 0L tmpo <- data.table(lv=0L, obj=NA_character_, dep=NA_character_, grp=0L, idcnt=0L) out <- data.table(lv=integer(), obj=character(), dep=character(), grp=integer(), idcnt=integer()) flag <- 0L pend <- 0L for (i in 1:nrow(sqlt)) { if (sqlt$cmd[i] %in% rstart) { if (flag==0L) { flag <- 1L ccnt <- ccnt+1L } else { ccnt <- 1L clv <- 0L } gcnt <- gcnt+1L cobj <- sqlt$tbl[i] tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)] out <- rbind(out,tmpo) clv <- clv+1L pend<- 0L next } else if (sqlt$cmd[i] %in% rinter) { if (flag==0L) { flag <- 1L ccnt <- out[nrow(out)]$idcnt gcnt <- out[nrow(out)]$grp clv <- out[nrow(out)]$lv + pend cobj <- out[nrow(out)]$obj } else { ccnt <- ccnt+1L } if (pend==0L) { tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)] out <- rbind(out,tmpo) } pend<- 0L next } else if (sqlt$cmd[i] %in% rstop) { if (!is.na(sqlt$tbl[i]) & sqlt$tbl[i]!="") { ccnt <- ccnt+1L cobj <- sqlt$tbl[i] if (gcnt==0 | flag==0L) {gcnt<- gcnt+1} tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)] out <- rbind(out,tmpo) ccnt <- 0L clv <-0L cobj <-NA_character_ flag <-0L } else { pend <- 1L } next } else { if (!is.na(sqlt$tbl[i]) & sqlt$tbl[i]!="") { cobj <- sqlt$tbl[i] if (pend==1L) { tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt+1)] out <- rbind(out,tmpo) ccnt <- 0L clv <- 0L cobj <- NA_character_ flag <- 0L } } else { if (is.na(sqlt$cmd[i]) | sqlt$cmd[i]=="") { ccnt <- ccnt+1L tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)] out <- rbind(out,tmpo) ccnt <- 0L clv <-0L cobj<-NA_character_ flag<-0L } } next } } ## 3rd step: Addtional step to handle LV, DEP... out[,lv:=max(lv)-lv, by=.(grp)] %>% .[,dep:=ifelse(lv==0,NA_character_,shift(obj,type="lead")),by=.(grp)] lv obj dep grp idcnt 1: 0 t1 NA 1 1 2: 1 t2 t1 2 1 3: 0 t1 NA 2 2 4: 2 t5 t4 3 1 5: 1 t4 t3 3 2 6: 0 t3 NA 3 3 7: 2 t9 t8_1 4 1 8: 1 t8_1 t8_2 4 2 9: 0 t8_2 NA 4 3 10: 0 t11 NA 5 1 11: 1 t13 t12 6 1 12: 0 t12 NA 6 2 13: 0 new1 NA 7 1 14: 0 new NA 8 1 15: 0 new2 NA 9 1 t8_1, t8_2那一段和前面那一段結果不一致，或許需要額外的flag 來處理join前後有兩個不同的table 塞到前面兩個不同的row去這是很奇怪的特例，但還是可以額外處理...我這邊，就不再改版了 ...只能花這麼多時間處理到目前了，抱歉 ※ 引述《criky (立業成家)》之銘言： : [問題類型]: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) : [軟體熟悉度]: : 新手(沒寫過程式，R 是我的第一次) : [問題敘述]: : [問題類型]: : 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來) : [軟體熟悉度]: : 新手(沒寫過程式，R 是我的第一次) : [問題敘述]: : data如下： : (to) (from) : sql_command from_t insert_t table_t 想整理成 lv obj dep : select ... form t1 t1 0 t1 : ----------------------------------------------- : insert into t2 t2 1 t2 t1 : from t1 t1 : ----------------------------------------------- : insert into t5 t5 2 t5 t4 : select * 1 t4 t3 : from t4 t4 0 t3 : join : (select ... from t3) t3 : ----------------------------------------------- : insert into t9 t9 1 t9 t8_1 : select * from 1 t9 t8_2 : (select ... from t8_1) t8_1 0 t8_1 : join 0 t8_2 : (select ... from t8_2) t8_2 : ------------------------------------------------ : delete from t11 t11 0 t11 : ------------------------------------------------ : delete from t13 t13 1 t13 t12 : (select ... from t12) t12 0 t12 : ------------------------------------------------ : create table new1 new1 1 new1 new : select ... from new new 0 new : ------------------------------------------------ : create table new2 new2 0 new2 : 想整理成以下資料 : obj dep lv : t1 0 : t1 t2 1 : t5 t4 2 : t4 t3 1 : t3 0 : t9 t8_1 1 : t9 t8_2 1 : t8_1 0 : t8_2 0 : t11 0 : t13 t12 1 : t12 0 : new1 new 1 : new 0 : new2 0 : 上面範例資料實際是沒有 -------- : 是為了閱讀方便所以將資料分組並加上 ------- : 有(select..)的話lv會+1 : join上下的(select..) table lv 是相同的 : 先把問題po上來， : 回家也會再想想怎麼做~ : 若有大大願意協助非常感謝! : 回報一下， : 目前還是用EXCEL先做， : 整個流程大致如下： : 1、將sql語法貼到excel A1，用許多欄位取出 : select,insert into,delete...關鍵字是否存在 : 2、檔案中語法段落間有空行，可編碼成不同group : 3、抓出table名稱，以table數量+考慮join是否存在判斷level : 大致上是這樣做，但事實上仍有許多狀況， : 例如join的上下table是同一個，但篩選的資料不同， : 總之目前還是手工在做整理 QQ : 這種半結構式的data整理起來還真痛苦 QQ : [關鍵字]: : level sql : 選擇性，也許未來有用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.136.2 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1483054339.A.CB6.html