看板
[ Cloud ]
討論串MapReduce (Re: [情報] 利用智慧型手機建構雲端
共 6 篇文章
內容預覽:
以前看到MapReduce,的確不可否認是很棒的計算組織方式.. 借用了函數語言的特色,最棒的就是在把工作拆成幾個簡單的部份,. 讓幾個簡單的工作銜接,而達成原來整個工作的目標.. Map和Reduce二方都很好懂.接著,就會想到,. 那worker呢? mater要怎麼將資料妥善分配到每個work
(還有248個字)
內容預覽:
我想MapReduce是個model,不一定有個完整的底層平台.. 既然是programming model,有可能從一開始寫程式就可以順著這個心法做.. 從檔案文件處理出發,首先要從檔案系統取得檔案清單. 這是map:. TakeFiles(folder, nil):. for each file
(還有318個字)
內容預覽:
我提供一個很 naive 的做法. cralwer 們每抓到一個檔案, 或一個網頁. 就把這筆資料依照自己的格式存進 DFS. 並且把 (key:content_position) 發給 MQ server. 而 indexer 的 mapper 每次從 MQ server 拿一筆資料. (這裡不需
(還有213個字)
內容預覽:
這情況很正常. 在BBS或mailing-list常有這種嚴肅討論.. 而我個人經驗,mailing-list遇到的討論對象,比較不會有刁蠻不承認自己犯錯的.. 你說的第一句話有一點錯.請以分散式的觀點思考系統環境,. 環境中存在多少個map的instances,多少個reduce的instance
(還有1055個字)
內容預覽:
你是在研究MapReduce的議題,做碩士或博士的研究題目嗎?. 可以多看一些註解方面的文章.. 前一篇有提到"Analyzing MapReduce with CSP". 對MapReduce原文算是很好的註解,在model上有很明白的解釋.. (所以我才會質疑他們說map工作完之後要sort,這
(還有589個字)