[問題] hadoop mapreduce效能問題
我是在一台實體機,用win7安裝單機hadoop,
我是測試wordcount的實驗,
我把reducer分成三個,跑出來的時間比一個reducer還要慢
程式設定如下
測試一個檔案
1.job.setNumReduceTasks(1)-大約30秒
2.job.setNumReduceTasks(3)-大約38秒
請問有什麼方法能夠讓單機運算的時候強制分散cpu進行同時執行,
加快效能之類的,如果不行的話就只能考慮安裝虛擬機三台(不過有點麻煩),
所以想請這方面的專家是否能克服這個問題?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.228.231.145
※ 文章網址: https://www.ptt.cc/bbs/Cloud/M.1458572842.A.971.html
推
03/29 10:36, , 1F
03/29 10:36, 1F
Cloud 近期熱門文章
PTT數位生活區 即時熱門文章
