[問題] 電腦跑不動問題...

看板R_Language作者 (Jun)時間9年前 (2015/04/24 17:17), 9年前編輯推噓4(4021)
留言25則, 5人參與, 最新討論串1/1
不好意思...有關電腦與軟體的問題想請教 我通常都用個人PC跑R程式(研究室也沒其他資源) 但因為最近要分析的資料量實在太大(原始資料約為500,000*200) 跑R也常跑到沒有回應 現在有兩個問題想請教 1.礙於某些套件是以"欄"為單位來進行分析(如兩欄間的相關係數檢定) 以我的資料檔為例 我感興趣的變數就是那500,000列 所以我必須先在R裡面轉置再輸出成csv檔 之後才能做後續分析 今天有試著輸出...但Excel卻開不起來 (錯誤訊息:只能容許1X,XXX行) 這是遇到的第一個問題 2.之後試著不如不要轉出 直接轉置完在R裡面跑分析就好 結果卻沒有回應...有試著把同學的記憶體加到自己電腦(變成16G) 但R卻遲遲還是沒有回應... 自己有天真的想了一下解決方法 可能打程式的時候 以逐行的方式作檢定 若顯著的話 就先暫存在某個物件裡 但礙於程式能力不好 怕會花太多時間 不然資料那麼大 若是還以之前的程式習慣(一次處理整個資料檔)來做分析 肯定是不行的吧... 所以想請問各位先進... 有"以不更換軟硬體"的情況下的解決方法嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.184.161.128 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1429867058.A.14E.html

04/24 17:24, , 1F
1. libreoffice / openoffice 試試看
04/24 17:24, 1F

04/24 17:26, , 2F
2. 最佳化的程式碼要有實際案例才說得下去
04/24 17:26, 2F

04/24 17:27, , 3F
另外,你的資料到底是200列還是200欄?
04/24 17:27, 3F
※ 編輯: sinclairJ (111.184.161.128), 04/24/2015 17:44:50

04/24 17:45, , 4F
不好意思,原始資料是200行沒錯
04/24 17:45, 4F

04/24 17:46, , 5F
200欄
04/24 17:46, 5F

04/24 17:47, , 6F
我晚點試試看你提的excel解決辦法,謝謝
04/24 17:47, 6F
※ 編輯: sinclairJ (111.184.161.128), 04/24/2015 17:48:50

04/24 18:29, , 7F
先試試能不能抽樣跑
04/24 18:29, 7F

04/24 20:31, , 8F
用notepad++或是sublime text之類的開csv檔
04/24 20:31, 8F

04/24 20:31, , 9F
sublime text有套件支援csv瀏覽很方便
04/24 20:31, 9F

04/24 20:34, , 10F
500,000列看你是怎麼寫,670000x150在16G還可以做
04/24 20:34, 10F

04/24 20:34, , 11F
要不就要考慮用disk當作記憶體緩衝
04/24 20:34, 11F

04/24 20:38, , 12F
我沒注意到你是要用excel分析,抱歉
04/24 20:38, 12F

04/24 22:21, , 13F
哈哈怎麼會抱歉,我要說感謝都來不及了,目前程式碼沒
04/24 22:21, 13F

04/24 22:21, , 14F
問題,電腦還在試,哈
04/24 22:21, 14F

04/25 05:32, , 15F
這要看你code怎麼寫. 不然你用亂數給我們做範例也好.
04/25 05:32, 15F

04/25 05:34, , 16F
至少我看起來不是硬體的問題.
04/25 05:34, 16F

04/25 18:56, , 17F
我不是說程式碼有問題,而是寫法,有些不必要的複製
04/25 18:56, 17F

04/25 18:56, , 18F
會造成記憶體的浪費,才會讓你記憶體不夠用,最簡
04/25 18:56, 18F

04/25 18:56, , 19F
單的例子,names的assign複製幾次,轉置個幾次次,
04/25 18:56, 19F

04/25 18:56, , 20F
增加column複製幾次,可能你記憶體就在這途中浪費
04/25 18:56, 20F

04/25 18:56, , 21F
掉,又沒有remove object下...
04/25 18:56, 21F

04/25 18:58, , 22F
我覺得R應該不會主動做記憶體
04/25 18:58, 22F

04/25 18:58, , 23F
記憶體管理
04/25 18:58, 23F

04/26 00:12, , 24F
補充一點,所以如果需要幫忙,可以把程式PO上來
04/26 00:12, 24F

04/26 00:13, , 25F
資料可以用亂數,只是要確認裡面沒用名稱CALL
04/26 00:13, 25F
文章代碼(AID): #1LEWeo5E (R_Language)
文章代碼(AID): #1LEWeo5E (R_Language)