[分享] 五個用R 處理大資料的方法
[關鍵字]: R, big data
[出處]: http://blog.eoda.de/2013/11/27/five-ways-to-handle-big-data-in-r/
[重點摘要]:
1. 怎樣的資料算大？
Hadley Wickham: 當處理資料的時間超過開發程式的時間
Jan Wijffels:
- < 10^6, R 可以容易的處理
- 10^6 ~ 10^9: 花點心思可以用R 處理
- > 10^9: Map Reduce, R + Hadoop
2. 如何處理大資料:
- 抽樣
- 擴充硬體 (64-bit R 最多可以吃 8TB的RAM)
- 在硬碟上處理 (請參考套件ff和ffbase)
- 和C++ 或java整合 (請參考套件Rcpp或rJava)
- 更強大的interpreter (請參考pqR, Renjin, TERR和Oracle R)
--
歡迎到ptt R_Language版分享R 的相關知識
歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User
聚會報名 http://www.meetup.com/Taiwan-R/
聚會影片 https://www.youtube.com/user/TWuseRGroup
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 1.34.138.85
推
12/02 23:43, , 1F
12/02 23:43, 1F
→
12/03 13:43, , 2F
12/03 13:43, 2F
推
12/03 15:52, , 3F
12/03 15:52, 3F
→
12/04 00:30, , 4F
12/04 00:30, 4F
→
12/04 00:32, , 5F
12/04 00:32, 5F
→
12/04 02:00, , 6F
12/04 02:00, 6F
→
12/04 21:16, , 7F
12/04 21:16, 7F
推
12/05 03:16, , 8F
12/05 03:16, 8F
推
12/10 20:06, , 9F
12/10 20:06, 9F
→
12/10 23:23, , 10F
12/10 23:23, 10F
R_Language 近期熱門文章
PTT數位生活區 即時熱門文章
