[問題] 處理資料 效能詢問

看板R_Language作者 (spiderway)時間9年前 (2016/07/04 22:49), 9年前編輯推噓2(202)
留言4則, 1人參與, 最新討論串1/5 (看更多)
- 問題: 當你想要問問題時,請使用這個類別 [問題類型]: 效能諮詢(我想讓R 跑更快) [軟體熟悉度]: 入門(寫過其他程式,只是對語法不熟悉) [問題敘述]: 大家好, 最近因為需要要處理一些資料,雖然有寫出要的東西,但是實在是跑太慢了,感覺要跑個 幾年= =,一定是我寫法不好,想來這問一下各位大大該怎個改才對,並學習一下 麻煩各位大大給予小魯指導,感激不盡!!! 程式: 讀取了全部CSV(10萬多個)存在一個大大的list裡面,要做的大概是把每一個list裡面的 資料都做同一件事,就是每5筆整理成1筆,然後append在一起,如下 1 2 3 4 5 6 1 2 3 .... 1 6/1 a b 12 1 2 1 6/1 a b 12 1 2 13 1 3 14 1 4 15 1 5 16 1 6 2 6/1 a b 13 1 3 3 6/1 a b 14 1 4 變成1筆>>> 4 6/1 a b 15 1 5 5 6/1 a b 16 1 6 [程式範例]: http://pastie.org/10898589 [版本] R version 3.3.0 (2016-05-03) Platform: x86_64-pc-linux-gnu (64-bit) Running under: Ubuntu 14.04.4 LTS [關鍵字]: -- Sent from my ibon. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.200.29 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1467643744.A.057.html ※ 編輯: spiderway (122.116.200.29), 07/04/2016 22:51:34

07/04 23:50, , 1F

07/04 23:51, , 2F
看看,你原本的方式很吃記憶體。一個資料變成三個資料存著
07/04 23:51, 2F

07/04 23:52, , 3F
存著等著被讀取,然後重複的動作, as.factor 跟t做很多次
07/04 23:52, 3F

07/04 23:56, , 4F
還有value, new_value在每次迴圈沒有重新reset,會越來越大
07/04 23:56, 4F
好的,學到很多 我的寫法實在是太遜了 Q_Q ※ 編輯: spiderway (122.116.200.30), 07/05/2016 22:40:01
文章代碼(AID): #1NUdTW1N (R_Language)
文章代碼(AID): #1NUdTW1N (R_Language)