[分享] 資料數據處理修改

看板R_Language作者celestialgod (攸藍)時間9年前 (2015/07/12 15:22)推噓6(6推 0噓 1→)

留言7則, 7人參與討論串1/1

這篇想呈現怎樣整理修改data.frmae/data.table內的資料過程中，是否會製作資料複本會造成效能的低落我試著把可能的解法都想在這篇裡面這篇用一個最簡單的例子包含"Null"字元的一個正數csv檔案目標是要把Null轉成NA，並且全部column都轉成int/num 可以考慮幾種方式 1. 用read.csv讀，使用default option，再做剩下的修改 2. 用read.csv讀，設定stringsAsFactors=FALSE，直接對chr做修改 3. 用read.csv讀，設定na.strings = "Null"，所有column就會直接變成int 4. 用fread讀，使用default options，再做剩下的修改 5. 用fread讀，設定na.strings = "Null"，再做剩下的修改這樣看起來3.是最方便的方式，不過fread再讀大資料時，有它的效率優勢考慮一個有50000個row，200個column的資料，其中有156行包含"Null" 比較看看怎樣的轉換方式最快。程式：http://pastebin.com/hX4Biq7x machine: CPU: Celeron B960@1.8GHz 6GB Ram Revolution R Open: R version 3.2.0 (2015-04-16) Platform: x86_64-w64-mingw32/x64 (64-bit) Running under: Windows 7 x64 (build 7601) Service Pack 1 Unit: seconds expr min lq mean median uq max neval method_1 3.971753 4.036618 4.460901 4.535446 4.731301 5.329010 20 method_2 3.772901 3.842948 4.494862 4.049869 4.323830 9.667021 20 method_3 3.788617 3.853613 4.132342 3.921652 4.347161 5.132272 20 method_4 3.716265 3.843885 4.145333 3.998319 4.247201 5.708531 20 method_5 12.481331 13.448137 17.182267 14.693496 17.808658 32.192652 20 method_6 12.348287 13.795098 16.440180 15.891280 17.371023 27.189625 20 method_7 4.773306 4.849003 5.630633 5.326955 5.695046 11.200814 20 method_8 4.100167 4.172661 4.989753 4.536472 5.041444 9.395030 20 method_9 3.908649 4.057392 4.580684 4.365466 4.685546 8.113558 20 method_10 3.920710 3.991021 4.342576 4.350796 4.621759 5.118484 20 method_11 3.756906 3.814765 4.528976 4.191450 4.553097 7.491762 20 method_12 4.215348 4.312883 4.487966 4.440046 4.558055 5.273808 20 method_13 4.214801 4.299568 4.650518 4.482193 4.683664 7.368416 20 method_14 3.859733 3.975412 4.406024 4.316589 4.433386 6.868416 20 method_15 3.814103 4.236323 4.428712 4.367902 4.615070 5.399137 20 小評： method_5跟method_6 (data.frame+sapply)是最差的方式 method_7(data.frame (讀入不轉factor) as.matrix+as.integer)為次差的方式最好的方式是method_3跟method_4 (data.table+plyr::colwise) 稍差的方法如method_10 (data.frame (default讀入) + base::transform) method_14 (data.table (default讀入) + data.table::transform) method_15 (data.table (讀入設定nastrings) + data.table::transform) method_12跟method_13 (data.table + dplyr::mutate_each_)表現頗為中庸如果有其他方法，歡迎提出比較，感謝各位。結論：如果資料小的時候，直接使用3.的方式讀入資料即可如果資料較大(大概超過一百萬個數值)的時候，建議用fread配上colwise做修改 [關鍵字]: plyr, dplyr, data.table, data.frame -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1436685772.A.51F.html ※ 編輯: celestialgod (123.205.27.107), 07/12/2015 15:34:32