www涩-www黄网站-www黄色-www黄色com-国产免费拍拍视频在线观看网站-国产免费怕怕免费视频观看

SQL on Hadoop的最新進展及7項相關技術分享

2013-10-23 09:40:59 CSDN  點擊量: 評論 (0)
大數據是現在非常熱門的一個話題,從工程或者技術的角度來看,大數據的核心是如何存儲、分析、挖掘海量的數據解決實際的問題。那么對于一個工程師或者分析師來說,如何查詢和分析TB PB級別的數據是在大數

內存中,然后再判斷哪些是符合查詢需求的。在ORCFile中數據以Stripe為單元讀取到內存,那么ORCFile的RecordReader會根據Stripe的元數據(Index Data,常駐內存)判斷該Stripe是否滿足這個查詢的需求,如果不滿足直接略過不讀,從而節省了IO。

通過對ORCFile的上述分析,我想大家已經看到了brighthouse的影子了吧。都是把列數據相應的索引、統計數據、詞典等放到內存中參與查詢條件的過濾,如果不符合直接略過不讀,大量節省IO。

4. HiveServer2的Security和Concurrency特性

HiveServer2能夠支持并發客戶端(JDBC/ODBC)的訪問。

Cloudera還搞了個Sentry用于Hadoop生態系統的的安全性和授權管理方面的工作。這兩個特點是企業級應用Hadoop/Hive主要關心的。

5. HCatalog Hadoop的統一元數據管理平臺

目前Hive存儲的表格元數據和HDFS存儲的表格數據之間在schema上沒有一致性保證,也就是得靠管理員來保證。目前Hive對列的改變只會修改 Hive 的元數據,而不會改變實際數據。比如你要添加一個column,那么你用Hive命令行只是修改了了Hive元數據,沒有修改HDFS上存儲的格式。還得通過修改導入HDFS的程序來改變HDFS上存儲的文件的格式。Hadoop系統目前對表的處理是’schema on read’,有了HCatlog就可以做到EDW的’schema on write’。

6. Windowing and Analytics Functions的支持。

Tez/Stinger

Tez是一種新的基于YARN的DAG計算模型,主要是為了優化Hive而設計的。目前Tez/Stinger主要是Hortonworks在搞,他們希望以后把Hive SQL解析成能夠在Tez上跑的DAG而不是MapReduce,從而解決計算實時性的問題。Tez的主要特點有:

·底層執行引擎不再使用MR,而是使用基于YARN的更加通用的DAG執行引擎

·MR是高度抽象的Map和Reduce兩個操作,而Tez則是在這兩個操作的基礎上提供了更豐富的接口。把Map具體到Input、Processor、 Sort、Merge、Output,而Reduce也具體化成Input、Shuffle、Sort、Merge、Processor、 Output。其實這個跟Spark有點類似了,都是提供更豐富的可操作單元給用戶。

·傳統的Reduce只能輸出到HDFS,而Tez的Reduce Processor能夠輸出給下一個Reduce Processor作為輸入。

·Hot table也放到內存中cache起來

·Tez service:預啟動container和container重用,降低了每次Query執行計劃生成之后Task啟動的時間,從而提高實時性。

·Tez本身只是YARN框架下得一個library,無需部署。只需指定mapreduce.framework.name=yarn-tez

·Tez/Stinger還有一個最重要的feature : Vectorized Query __execution ( 該feature在HDP 2.0 GA中會提供)。

目前Hive中一行一行的處理數據,然后調用lazy deserialization解析出該列的Java對象,顯然會嚴重影響效率。Vectorized Query __execution把多行數據同時讀取并處理(基本的比較或者數值計算),降低了函數調用的次數,提高了CPU利用率和cache命中率。

Hive->Tez/Stinger未來工作的主要方向:Cost-based optimizer,基于統計選擇執行策略,例如多表JOIN時按照怎樣的順序執行效率最高。統計執行過程中每個中間表的Row/Column等數目,從而決定啟動多少個MR執行。

大云網官方微信售電那點事兒

責任編輯:廖生玨

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 欧美乱爱 | 目韩一区二区三区系列片丶 | 欧美特级| 成人免费在线播放 | 激情丝袜美女视频二区 | 色综合天天综合网看在线影院 | 久久韩国 | 日韩成人在线观看视频 | 高清三级毛片 | 天堂一区二区在线观看 | 韩国日本一级片 | 久久精品免视着国产成人 | 精品欧美日韩一区二区 | 国产一区二区三区国产精品 | 韩国一级做a爰片性色毛片 韩国一区在线 | 中文字幕在线视频网 | 国产成人禁片免费观看视频 | 我要看三级毛片 | 99久久香蕉国产综合影院 | 欧美国产视频 | 欧美一二三区视频 | 久久99国产亚洲精品观看 | 欧美乱大交xxxxx | 国产日产欧美精品一区二区三区 | 亚洲国产精品乱码在线观看97 | 加勒比综合 | 欧美日韩美女 | 国内精品久久久久影院免费 | 最新福利片v国产片 | 亚洲精品专区一区二区三区 | 国内精品91久久久久 | 91精品在线免费 | 午夜免费理论片a级 | 在线观看黄网视频免费播放 | 欧美一级网址 | 国产热久久精 | 国产美女做爰免费视频软件 | 国产精品二区高清在线 | 在线天堂视频 | 中文字幕免费在线视频 | 免费a黄色 |