[技術] 想問一下關於MAPREDUCE的JAVA問題

看板Cloud作者 (賴冬粉)時間13年前 (2011/07/11 15:54), 編輯推噓2(208)
留言10則, 3人參與, 最新討論串1/1
有問題想要請問一下各位~ 目前在研究DATA MINING使用在雲端上 現在卡到一個問題就是! 我想要去判別我的權重值有沒有過門檻值 我的文件格式資料如下 ------------------------------ all 63320.56 url1 120.56 url2 45.1 ----------------------------- 想在MAP的時候讓第一行的值跑進下面每一列URL所有值的最後~ (就會變成 URL1 120.56 63320.56 URL2 45.1 63320.56 ) 之後在REDUCE裡去做篩選! 只是都沒辦法成功~ 各位對於這個有甚麼想法嗎?還是說有其他解決方法可供參考? 再來因為MAP都是一行一行讀文字進去的,有辦法讓他用一個變數先儲存我的總門檻值嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.128.18.47

07/11 21:09, , 1F
1.貼個CODE出來看 然後希望輸入輸出說清楚點
07/11 21:09, 1F

07/11 21:09, , 2F
2.可以 在JOB裡面設定
07/11 21:09, 2F

07/11 21:09, , 3F
阿 你是要更動? 那可能不行 這是分散式架構
07/11 21:09, 3F

07/11 21:10, , 4F
除非用檔案的方式,但是會很麻煩 你還是先說清楚一點
07/11 21:10, 4F

07/11 22:21, , 5F
你map做啥reduce又做啥? 只是要過濾的話帶job conf 參數
07/11 22:21, 5F

07/11 22:21, , 6F
map階段就可以過濾了
07/11 22:21, 6F

07/12 01:08, , 7F
to gmoz 因為一直在專研這一塊把最基本的分散式架構都忘了
07/12 01:08, 7F

07/12 01:09, , 8F
所以我知道我錯在哪裡了! 謝謝你的提醒
07/12 01:09, 8F

07/12 01:10, , 9F
TO nemo33 關於job conf 我會再多去研究它,朝這方面試試看
07/12 01:10, 9F

07/12 23:30, , 10F
hadoop 0.20之後已經不用job conf了
07/12 23:30, 10F
文章代碼(AID): #1E6gnB5t (Cloud)
文章代碼(AID): #1E6gnB5t (Cloud)