Hive性能調(diào)優(yōu)之并行執(zhí)行(3)

Hive會將

一個查詢轉(zhuǎn)化成一個或者多個階段

。這樣的階段可以是MapReduce階段、抽樣階段、合并階段、limit階段。或者Hive執(zhí)行過程中可能需要的其他階段。默認(rèn)情況下，Hive一次只會執(zhí)行一個階段。不過，某個特定的job可能包含眾多的階段，而這些階段可能并非完全互相依賴的，也就是說

有些階段是可以并行執(zhí)行的

，這樣可能使得整個job的執(zhí)行時間縮短。不過，如果有更多的階段可以并行執(zhí)行，那么job可能就越快完成。

通過設(shè)置參數(shù)hive.exec.parallel值為true，就可以

開啟并發(fā)執(zhí)行

。不過，在共享集群中，需要注意下，如果job中并行階段增多，那么集群利用率就會增加。

set hive.exec.parallel=true; //打開任務(wù)并行執(zhí)行 set hive.exec.parallel.thread.number=16; //同一個sql允許最大并行度，默認(rèn)為8。

1

2

當(dāng)然，得是在系統(tǒng)資源比較空閑的時候才有優(yōu)勢，否則，沒資源，并行也起不來。

本次關(guān)于Hive性能調(diào)優(yōu)的分享就到這里了,喜歡的小伙伴們記得加關(guān)注喲。

Hive 應(yīng)用性能調(diào)優(yōu)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。