[情報] Amazon宣布Amaozn EMR增加支援HBase
圖文版:
http://baqua45.blogspot.tw/2012/06/now-you-can-use-hbase-on-amazon-emr.html
要使用大象,真的得養頭大象嗎?為何不使用AWS EMR
Amazon 在6/12宣布Amaozn EMR (Elastic MapReduce) 增加支援HBase的功能[1],對於一
般開發者來說真是一大福音,因為可以減少要自己養大象的痛苦,套句現在企業經營節省
成本的一句名言:要喝牛奶,真的要養頭牛嗎?同樣的想要使用MapReduce 一定要自己養
一群大象嘛?更讓人心煩的是大象一點都不好養,因為更精確的來說大象其實是個航空母
艦戰鬥群,是由許多戰艦組合而成:
Master
HDFS - NameNode
Hbase - Master
Hadoop - JobTracker
Slave
HDFS - DataNode
Hbase - Region Server
Hadoop - TaskTracker
OA&M
Zookeeper
所以必須要管理、調教許多台機器(Instance),而且在有限的機器(資源)下,還得測試怎
樣的配置是最好的,真的是得花很多心思,事先都得規劃好,下圖是我們在開發一個
SaaS model的Private Cloud 案子,為了讓方便調度,以及資源利用最大化,我們在三台
刀鋒等級機器,搭配Xen的虛擬化技術,開了許多vm (instance),每個instance 都有著
不同的角色。
也正因位在開發案子遇到這樣問題,我們在開發MeshCloud時,才會加入群組管理
(Server Template)與圖像化監控的概念。對照上圖,如果變成下面的顯示方式,會不會
比較好理解和管理呢?
以敏捷式開發團隊來說,有一個很重要的概念就是DevOps :
它的出現是由於軟體行業日益清晰地認識到:為了按時交付軟體產品和服務,開發和
運營工作必須緊密合作[2]
Dev帶表開發人員,Ops帶表營運人員或是MIS,為了要達到敏捷式的快速迭代交付,一定
要Dev與Ops密切合作,甚至有時候你本身就必須具備這兩種能力,這也墊高使用Hadoop來
開發的門檻。
現在有了Amazon EMR 也算是一種解套方案,你不用自己去管理那麼多台機器,不用去調
教Hadoop,你就只要專注在如何利用MapReduce [3]處理你的大量資料就好。
不過如果還是希望自己調教大象,或者是需要管理與監控各種不同類型的主機?
那現在就趕快來註 MeshCloud(https://meshcloud.meshmit.com) 吧!!
(現在還在免費測試期內唷~XD)
Reference:
[1] Apache HBase on Amazon EMR - Real-time Access to Your Big Data
[2] Wiki - DevOps
[3] Amazon Elastic MapReduce Documentation
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 114.36.126.8
Cloud 近期熱門文章
PTT數位生活區 即時熱門文章