免费人成动漫在线播放r18-免费人成观看在线网-免费人成黄页在线观看日本-免费人成激情视频在线观看冫-jlzzjlzz亚洲大全-jlzzjlzz亚洲日本

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 頭條 » 正文

HIVE常用優化方法

放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:49
導讀

1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

3、在where字句中增加分區過濾器。

4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
設置屬性即可實現,

set hive.auto.covert.join_true;

用戶可以配置希望被優化的小表的大小
set hive.mapjoin.smalltable.sia_2500000;

如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

例如_

insert overwrite table student select * from employee;

insert overwrite table person select * from employee;

可以優化成_

from employee

insert overwrite table student select *

insert overwrite table person select *

7、limit調優_limit語句通常是執行整個語句后返回部分結果。

Set hive.limit.optimia.enable_true;

8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

設置屬性_

set hive.e>ecparallel_true;

9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

c_限制笛卡爾積的查詢。

10、合理的設置map和reduce數量。

11、jvm重用??稍趆adoop的mapredtite.xml中設置jvm?重用的次數。

 
(文/企資小編)
打賞
免責聲明
本文為企資小編推薦作品?作者: 企資小編。歡迎轉載,轉載請注明原文出處:http://www.bangpiao.com.cn/news/show-171014.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 欧美成人三级一区二区在线观看 | 日韩欧美高清视频 | 黄色免费网站在线播放 | 国产黄大片在线观看 | 亚洲第一黄网站 | 亚洲欧洲日产国码 最新 | 国产欧美久久一区二区 | 成人久久18免费游戏网站 | 欧美日韩欧美日韩 | 亚洲欧洲精品视频在线观看 | 国产成人免费在线观看 | 免费看黄网| 欧美久久综合 | 国产成人综合亚洲动漫在线 | 男人看片资源 | 97色伦图片在线观看 | 最近免费中文字幕大全免费版视频 | 国产精品日韩欧美 | 最近2019年中文字幕大全视频 | 羞羞午夜| 亚洲欧美在线观看首页 | 亚洲va视频 | 成人手机在线观看 | 中文字幕亚洲图片 | 小明www永久免费播放平台 | 制服丝袜综合第八页 | 免费人成在线观看网站品爱网 | 伊人在综合 | freexxxxⅹhd18日本 | 欧美成人性色生活片免费在线观看 | 91在线精品麻豆欧美在线 | 欧美午夜在线观看 | 黄色三级视频在线 | 1769亚洲资源站365在线 | 夜夜澡人人爽人人喊_欧美 夜夜躁天天躁很很躁 | 精选国产门事件福利在线观看 | 动漫精品专区一区二区三区不卡 | 亚洲综合插 | 国产一区二区三区在线看片 | 中国二级毛片 | 久久一卡二卡 |