[情報] Amazon宣布Amaozn EMR增加支援HBase

看板Cloud作者 (c'est la vie)時間13年前 (2012/06/20 23:15), 編輯推噓0(000)
留言0則, 0人參與, 最新討論串1/1
圖文版: http://baqua45.blogspot.tw/2012/06/now-you-can-use-hbase-on-amazon-emr.html 要使用大象,真的得養頭大象嗎?為何不使用AWS EMR Amazon 在6/12宣布Amaozn EMR (Elastic MapReduce) 增加支援HBase的功能[1],對於一 般開發者來說真是一大福音,因為可以減少要自己養大象的痛苦,套句現在企業經營節省 成本的一句名言:要喝牛奶,真的要養頭牛嗎?同樣的想要使用MapReduce 一定要自己養 一群大象嘛?更讓人心煩的是大象一點都不好養,因為更精確的來說大象其實是個航空母 艦戰鬥群,是由許多戰艦組合而成: Master HDFS - NameNode Hbase - Master Hadoop - JobTracker Slave HDFS - DataNode Hbase - Region Server Hadoop - TaskTracker OA&M Zookeeper 所以必須要管理、調教許多台機器(Instance),而且在有限的機器(資源)下,還得測試怎 樣的配置是最好的,真的是得花很多心思,事先都得規劃好,下圖是我們在開發一個 SaaS model的Private Cloud 案子,為了讓方便調度,以及資源利用最大化,我們在三台 刀鋒等級機器,搭配Xen的虛擬化技術,開了許多vm (instance),每個instance 都有著 不同的角色。 也正因位在開發案子遇到這樣問題,我們在開發MeshCloud時,才會加入群組管理 (Server Template)與圖像化監控的概念。對照上圖,如果變成下面的顯示方式,會不會 比較好理解和管理呢? 以敏捷式開發團隊來說,有一個很重要的概念就是DevOps : 它的出現是由於軟體行業日益清晰地認識到:為了按時交付軟體產品和服務,開發和 運營工作必須緊密合作[2] Dev帶表開發人員,Ops帶表營運人員或是MIS,為了要達到敏捷式的快速迭代交付,一定 要Dev與Ops密切合作,甚至有時候你本身就必須具備這兩種能力,這也墊高使用Hadoop來 開發的門檻。 現在有了Amazon EMR 也算是一種解套方案,你不用自己去管理那麼多台機器,不用去調 教Hadoop,你就只要專注在如何利用MapReduce [3]處理你的大量資料就好。 不過如果還是希望自己調教大象,或者是需要管理與監控各種不同類型的主機? 那現在就趕快來註 MeshCloud(https://meshcloud.meshmit.com) 吧!! (現在還在免費測試期內唷~XD) Reference: [1] Apache HBase on Amazon EMR - Real-time Access to Your Big Data [2] Wiki - DevOps [3] Amazon Elastic MapReduce Documentation -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 114.36.126.8
文章代碼(AID): #1FuUa7eC (Cloud)
文章代碼(AID): #1FuUa7eC (Cloud)