[心得] batch_fetch.R
[關鍵字]: R, SQL, data.table
由於最近我常常要從database讀取數千萬到數億筆資料到R,
所以我研究了如何方便和快速的讀取資料。
在資料量極大的狀況下，用R 常常會遇到用光memory的問題，
而我目前是用data.table這個套件來解決memory的問題。
目前我寫了一個batch_fetch函數，
對於DBI 介面的資料庫套件，如RSQLite, RMySQL, RPostgreSQL和ROracle，
應該都可以用... (但是我只有在RSQLite上用過)
source code 放在：
https://gist.github.com/wush978/5626223
歡迎任何指教，
也歡迎其他板友分享資料讀取相關的議題！
謝謝
--
歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User
我們每週一都有在「政大公企中心(台北市金華街187號)西樓WB05」
舉辦Machine Learning / Data Mining Monday:
報名 http://www.meetup.com/Taiwan-R/
聚會影片 https://www.youtube.com/user/TWuseRGroup
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.166.97.9
R_Language 近期熱門文章
PTT數位生活區 即時熱門文章
