Re: [閒聊] Google App Engine 釋出
※ 引述《zanyking (遙遠的旅人)》之銘言:
: ※ 引述《Lucemia (生の直感、死の予感)》之銘言:
: : 很不解的是照這兩篇的講法,GAE沒有提供map reduce。
: : map reduce與平行化與大量處理能力相關,
: : google 如不希望提供這個功能也是能理解的。
: : 但在本質上,big table 的運作是需要搭配map reduce功能的。
: : 聽後來講雲端計算的內容就可以知道,
: : 沒有map reduce的話會造成一些很基本的功能,像是最簡單的計數,
: : 在big table上的實現困難,或是使用不到big table的優點。
: : 這部份蠻令人困惑的..
: 應該說,Bigtable的核心部份已經是使用MapReduce實做出來的東西。
: 而從Bigtable所提供出來給Client 呼叫的API上頭,是不會認知到有
: MapReduce這回事的。這也很合理。
: 我認為先不去考慮Map Reduce的直接支援,單純就App Engine所提供的
: Python執行環境,也許已經是一個以Map Reduce或是其他分散式處理技
: 巧所構造出來的VM。只要User在寫Code的時候沒有宣告Glob Var,那
: App平行處理的能力應該就已經很好了。
HPC 有兩種:parallel processing 和 high throughput computing
對 web app 來說 parallel processing 不大重要,因為沒有哪個 single request
會跑超過幾分鐘吧
appengine 的訴求是 scalability,這基本上是 high throughput 問題:
如何為成千上百萬個 request 提供共通的執行環境,並且容錯
目前 appengine 完全沒有 offline 處理的能力,也就是說
它專門在解決 http-based request/response
parallel processing 不是它要解的問題
至於傳統 HPC 處理的 parallel processing,不但 appengine 不解決
mapreduce 也不處理;
就 gdd08tw 所聽到的內容,在 mapreduce 裡的每個 node 彼此間不能交換資料
單這點就是個死穴了
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.161.147.27
討論串 (同標題文章)
Python 近期熱門文章
PTT數位生活區 即時熱門文章