免费人成动漫在线播放r18-免费人成观看在线网-免费人成黄页在线观看日本-免费人成激情视频在线观看冫-jlzzjlzz亚洲大全-jlzzjlzz亚洲日本

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 頭條 » 正文

HIVE常用優化方法

放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:49
導讀

1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

3、在where字句中增加分區過濾器。

4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
設置屬性即可實現,

set hive.auto.covert.join_true;

用戶可以配置希望被優化的小表的大小
set hive.mapjoin.smalltable.sia_2500000;

如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

例如_

insert overwrite table student select * from employee;

insert overwrite table person select * from employee;

可以優化成_

from employee

insert overwrite table student select *

insert overwrite table person select *

7、limit調優_limit語句通常是執行整個語句后返回部分結果。

Set hive.limit.optimia.enable_true;

8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

設置屬性_

set hive.e>ecparallel_true;

9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

c_限制笛卡爾積的查詢。

10、合理的設置map和reduce數量。

11、jvm重用??稍趆adoop的mapredtite.xml中設置jvm?重用的次數。

 
(文/企資小編)
打賞
免責聲明
本文為企資小編推薦作品?作者: 企資小編。歡迎轉載,轉載請注明原文出處:http://www.bangpiao.com.cn/news/show-171014.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 午夜在线精品不卡国产 | 欧美一级片在线免费观看 | tk视频丨vk | 亚洲成人高清在线观看 | 日韩欧美精品综合一区二区三区 | 一级一片免费播放 | 黄色a三级免费看 | 一级特黄aa大片一又好看 | 1024国产精品视频观看 | 亚洲不卡免费视频 | 一级做a爱片久久蜜桃 | 成人黄色片在线观看 | 免费在线毛片 | 精品国产不卡一区二区三区 | 色网站免费视频 | 国产成人亚洲毛片 | 日本成片免费高清 | 日韩一级一片 | 色婷婷狠狠久久综合五月 | 日韩国产成人精品视频 | 不卡福利 | 久久99久久精品97久久综合 | 日韩欧美精品综合一区二区三区 | 日日操影院 | 透明奶罩的邻居三级在线观看 | 午夜影晥| 三级黄色片在线观看 | 黄色网址视频在线观看 | 日韩a级 | 欧美视频1 | 97青青草 | 亚洲国产成人va在线观看 | 香蕉成人999视频 | 欧美成狂野欧美在线观看 | 能看的黄色网址 | 最新亚洲情黄在线网站 | 亚洲成人黄色在线观看 | 久久亚洲综合网 | 成人福利在线观看免费视频 | 极品美女a∨片在线看 | 97欧美在线看欧美视频免费 |