[問題] sparkR實作問題

看板R_Language作者 (天ㄦ)時間9年前 (2016/11/01 16:09), 編輯推噓0(0010)
留言10則, 2人參與, 最新討論串1/1
ctrl + y 可以刪除一整行,請將不需要的內容刪除 [問題類型]: 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來) [軟體熟悉度]: 入門(寫過其他程式,只是對語法不熟悉) [問題敘述]: 各位前輩好,最近我想自學spark,因此昨天參照了 https://spark.apache.org/docs/latest/sparkr.html 網頁中的步驟想自己玩玩看,但在creat dataframe時一直出現錯誤, error code第一行如下 錯誤在invokeJava(isStatic = TRUE, className, methodName, ...) : java.lang.reflect.InvocationTargetException 也稍微搜尋了是否有人遇到相似問題,依照類似的問題解答更新了java版本 以及重新install rJava套件但仍然出現相同狀況,請各位大大解惑了,謝謝 [程式範例]: code如見連結網址 http://pastie.org/10953656 [環境敘述]: R version 3.1.2 (2014-10-31) Platform: x86_64-w64-mingw32/x64 (64-bit) locale: [1] LC_COLLATE=Chinese (Traditional)_Taiwan.950 [2] LC_CTYPE=Chinese (Traditional)_Taiwan.950 [3] LC_MONETARY=Chinese (Traditional)_Taiwan.950 [4] LC_NUMERIC=C [5] LC_TIME=Chinese (Traditional)_Taiwan.950 attached base packages: [1] stats graphics grDevices utils datasets methods base other attached packages: [1] rJava_0.9-8 SparkR_2.0.1 [關鍵字]: 選擇性,也許未來有用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.225.137 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1477987745.A.764.html

11/01 16:11, , 1F
附上錯誤截圖http://imgur.com/a/yzA6T
11/01 16:11, 1F

11/01 20:35, , 2F
spark session加上hive.metastore.warehouse.dir
11/01 20:35, 2F

11/01 20:35, , 3F
指向一個路徑去放hive metastore的地方應該就可以了
11/01 20:35, 3F

11/01 22:54, , 4F
感謝樓上,我會試試看
11/01 22:54, 4F

11/01 22:55, , 5F
不過我原本以為用local的方式可以不用動到hadoop或hive
11/01 22:55, 5F

11/01 22:58, , 6F
這裡的hive是spark原生的
11/01 22:58, 6F

11/01 22:58, , 7F
是不用安裝hive就可以用的
11/01 22:58, 7F

11/01 22:58, , 8F
你只是需要給一個路徑去放而已
11/01 22:58, 8F

11/02 13:12, , 9F
不知是否我的嘗試有問題http://pastie.org/10954197
11/02 13:12, 9F

11/02 13:13, , 10F
仍然遇到相同狀況呢 http://imgur.com/a/9FJ7k
11/02 13:13, 10F
文章代碼(AID): #1O64sXTa (R_Language)
文章代碼(AID): #1O64sXTa (R_Language)