Hive快速入門系列(17) | Hive性能調優(yōu) [四] 并行執(zhí)行

此次博主為大家?guī)淼氖荋ive性能調優(yōu)中的并行執(zhí)行。

Hive會將一個查詢轉化成一個或者多個階段。這樣的階段可以是MapReduce階段、抽樣階段、合并階段、limit階段。或者Hive執(zhí)行過程中可能需要的其他階段。默認情況下，Hive一次只會執(zhí)行一個階段。不過，某個特定的job可能包含眾多的階段，而這些階段可能并非完全互相依賴的，也就是說有些階段是可以并行執(zhí)行的，這樣可能使得整個job的執(zhí)行時間縮短。不過，如果有更多的階段可以并行執(zhí)行，那么job可能就越快完成。

通過設置參數hive.exec.parallel值為true，就可以開啟并發(fā)執(zhí)行。不過，在共享集群中，需要注意下，如果job中并行階段增多，那么集群利用率就會增加。

set hive.exec.parallel=true; //打開任務并行執(zhí)行 set hive.exec.parallel.thread.number=16; //同一個sql允許最大并行度，默認為8。

1

2

當然，得是在系統(tǒng)資源比較空閑的時候才有優(yōu)勢，否則，沒資源，并行也起不來。

本次的分享就到這里了,

看 完 就 贊 ， 養(yǎng) 成 習 慣 ！ ！ ！ \color{#FF0000}{看完就贊，養(yǎng)成習慣！！！} 看完就贊，養(yǎng)成習慣！！！^ _ ^ ?? ?? ??

碼字不易，大家的支持就是我堅持下去的動力。后不要忘了關注我哦！

Hive 應用性能調優(yōu)

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。