看板 [ java ]
討論串[問題] 想在Scala的RDD物件中更新變量
共 3 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[問題] 想在Scala的RDD物件中更新變量
推噓2(2推 0噓 5→)留言7則，0人參與, 最新作者iwantstronge (...)時間8年前 (2017/03/20 17:50), 編輯資訊
2
0
0
內容預覽:
版友們好~. 最近剛學Scala, 有個問題卡了很久. 當我把檔案用RDD讀進來:. val input = sc.textfile("myfile.txt"). 接著逐行讀取這個檔案(RDD),. 在裡面用一個容器(HashMap, Array, List之類的)儲存每一行的一些資訊. 例如:.
(還有238個字)
#2
Re: [問題] 想在Scala的RDD物件中更新變量
推噓0(0推 0噓 5→)留言5則，0人參與, 最新作者ogre0403 (肚子餓)時間8年前 (2017/03/20 18:12), 編輯資訊
0
0
0
內容預覽:
這應該算是 Spark的問題，不算Java也不算Scala的問題…. 你最終的目的是要產生key value pair的集合嗎?. 如果是的話，你需要的應該是用RDD的map operation產生一個key value pair RDD. --. ※ 發信站: 批踢踢實業坊(ptt.cc), 來自
#3
Re: [問題] 想在Scala的RDD物件中更新變量
推噓2(2推 0噓 2→)留言4則，0人參與, 最新作者popcorny (畢業了..@@")時間8年前 (2017/03/20 22:39), 8年前編輯資訊
0
0
0
內容預覽:
input.map(line => (line, 1)).reduceByKey(_ + _).collect. 回傳是一個tuple array 自己再轉回HashMap. 更簡單的是. input.distinct().collect. --. ※ 發信站: 批踢踢實業坊(ptt.cc), 來自
(還有33個字)
首頁
上一頁
1
下一頁
尾頁