www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

Hadoop 2:大數據演進中的一次大飛躍

2013-10-23 16:23:46 ZDnet  點擊量: 評論 (0)
  新的Hadoop不僅能夠進一步刺激為Hadoop編寫應用程序,同時也將在Hadoop內創造全新的數據處理方法,這在此前的架構限制下是根本不可能實現的。總之,這是好東西。  一直以來是什么限制著Hadoop的發展?更重
   新的Hadoop不僅能夠進一步刺激為Hadoop編寫應用程序,同時也將在Hadoop內創造全新的數據處理方法,這在此前的架構限制下是根本不可能實現的。總之,這是好東西。

  一直以來是什么限制著Hadoop的發展?更重要的是,Hadoop的未來發展會是怎樣?

  對于Hadoop的各種批評主要圍繞在其擴展限制,而這里最大的問題是其工作處理。Hadoop中的所有工作都是通過被稱為JobTracker的守護程序進行批處理,這制造了一個可擴展性和處理速度的瓶頸。

  而在Hadoop 2,這種JobTracker的方法已經消失。Hadoop使用了全新的工作處理框架,使用兩個守護程序:ResourceManager—管理系統中的所有工作,以及NodeManager—在每個Hadoop節點上運行,并讓ResourceManager知道節點上發生的情況。每個正在運行的應用程序也有自己的管理程序—ApplicationMaster。

  MapReduce也與之前完全不同,Apache給了它一個全新的名稱:YARN,或者Yet Another Resource Negotiator,另一種資源協調者,新的MapReduce運行作為其很多可能的組件之一。事實上,Apache聲稱,任何分布式應用程序都可以在YARN上運行,雖然需要一些移植。為此,Apache提供了一份與YARN兼容的應用程序列表,例如社會圖標分析系統Apache Giraph(Facebook在使用)。

  Apache明智地決定不破壞向后兼容性,因此,MapReduce 2仍然將采用相同的API,現有的工作只需要重新編譯就能正常工作。

  YARN讓Hadoop可以與其他Apache項目實現更多的跨平臺兼容性,來處理大數據。如果你使用其中一個平臺,那么使用其他平臺就會變得更加容易。Hadoop的這種改進將幫助推動Apache的其他項目。

  這里最大的改進就是,MapReduce本身成為通過Hadoop挖掘數據的很多方式的一種。Apache自己的Spark(移植到YARN的另一種方式)可能比MapReduce更適合某些類型的工作,Hadoop 2給了你更多選擇,讓你選擇最合適的引擎。

  兩個大型供應商Cloudera和Hortonworks對于YARN的重要性有著共同的看法,雖然他們從完全不同的方向使用Hadoop。Cloudera的Impala允許對HDFS存儲的數據運行低延遲性SQL查詢,這使其非常適合實時分析;而Hortonworks選擇使用Apache的原生Hive技術,該技術非常適合大數據倉庫操作(例如有很多連接型操作的長時間運行的查詢)

  移植應用程序到YARN并不是簡單的工作,Hadoop在這方面帶來的回報將取決于YARN在新框架內的部署情況。Cloudera和Hortonworks都是Hadoop 2的堅實支持者,他們并沒有轉向其他技術或者堅持上一代技術,從這一點來看,Hadoop 2并不只是煙霧或者上一代的鏡像。
大云網官方微信售電那點事兒

責任編輯:和碩涵

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 黄色毛片国产 | 欧美不卡视频在线观看 | 亚洲爆爽 | 国产精品不卡在线 | 亚洲国产天堂久久综合图区 | 日韩欧美视频一区二区在线观看 | 国产精品男人的天堂 | 国产精品久久久久久久久免费 | 免费看成人频视在线视频 | 日韩区 | 免费看一区二区三区 | 日本不卡在线一区二区三区视频 | 2019偷偷狠狠的日日 | 91久久香蕉国产线看观看软件 | 精品欧美高清不卡在线 | 国产成人久久精品激情91 | 大陆60老妇xxxxhd | 欧美黄成人免费网站大全 | 国产成a人亚洲精v品久久网 | 成人午夜看片在线观看 | 久久er热这里只有精品免费 | 久久99精品视频在线在线观看 | 精品亚洲福利一区二区 | 一级黄色录相片 | 在线观看国产精成人品 | 国产三级在线观看免费 | 国产一级片免费 | 在线 中文字幕 日韩 欧美 | 国产一区二区在线视频 | 视频一区免费 | 亚洲国产成人精品一区91 | 欧美成人在线免费 | 国产精品久久永久免费 | 久久久久久久久久免观看 | 成人午夜精品久久不卡 | 欧美成人极品怡红院tv | 男女视频在线免费观看 | 日韩一区二区三区在线观看 | xxx免费视频 | 欧美九九视频 | 波多野吉衣 免费一区 |