[問題] 想在Scala的RDD物件中更新變量
版友們好~
最近剛學Scala, 有個問題卡了很久
當我把檔案用RDD讀進來:
val input = sc.textfile("myfile.txt")
接著逐行讀取這個檔案(RDD),
在裡面用一個容器(HashMap, Array, List之類的)儲存每一行的一些資訊
例如:
input.foreach{line=>
var value = line.toInt
hashmap.put(value,1) // hashmap是在外面先定義好的一個HashMap容器
}
因為RDD本身是分散式被serilize到各個node(?),
所以不會去更新我傳到裡面的hashmap, 這個hashmap在foreach以外依然是空的~
請問我是否有任何辦法能把foreach裡面的hashmap傳出來,以便下一步處理呢~?
小弟新手, stackoverflow跟google找了兩天都沒啥頭緒~
還請高手指點~!! 感謝~!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 66.189.117.1
※ 文章網址: https://www.ptt.cc/bbs/java/M.1490003453.A.3F1.html
→
03/20 18:00, , 1F
03/20 18:00, 1F
→
03/20 18:01, , 2F
03/20 18:01, 2F
→
03/20 18:02, , 3F
03/20 18:02, 3F
推
03/20 18:10, , 4F
03/20 18:10, 4F
推
03/20 22:35, , 5F
03/20 22:35, 5F
→
03/20 22:36, , 6F
03/20 22:36, 6F
→
03/21 08:27, , 7F
03/21 08:27, 7F
討論串 (同標題文章)
以下文章回應了本文 (最舊先)：
完整討論串 (本文為第 1 之 3 篇)：
java 近期熱門文章
PTT數位生活區 即時熱門文章