MRS使用之控制impala并發(fā)度

一、impalad配置文件添加fair-scheduler.xml和llama-site.xml

備注：所有節(jié)點(diǎn)都需要配置，否則修改完impalad服務(wù)的--fair_scheduler_allocation_path、--llama_site_path配置后，沒有該文件的節(jié)點(diǎn)會(huì)啟動(dòng)失敗。

添加位置：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/

修改相應(yīng)的權(quán)限：

chmod?600?fair-scheduler.xml chown?omm:wheel?llama-site.xml chmod?600?llama-site.xml chown?omm:wheel?llama-site.xml

Example（impalad節(jié)點(diǎn)4U16G）：

fair-scheduler.xml

???? ????????? ???????? ????????????5120?mb,?0?vcores ????????????* ???????? ???????? ????????????2048?mb,?0?vcores ????????????admin ???????? ???????? ????????????7168?mb,?0?vcores ????????????omm ???????? ???? ???? ???????? ???????? ????

llama-site.xml

?? ????llama.am.throttling.maximum.placed.reservations.root.development ????1 ?? ?? ????llama.am.throttling.maximum.queued.reservations.root.development ????2 ?? ?? ????impala.admission-control.pool-default-query-options.root.development ????mem_limit=128m,query_timeout_s=20,max_io_buffers=10 ?? ?? ????impala.admission-control.pool-queue-timeout-ms.root.development ????30000 ?? ?? ????impala.admission-control.max-query-mem-limit.root.development.regularPool ????4026531840 ?? ?? ????impala.admission-control.min-query-mem-limit.root.development.regularPool ????52428800 ?? ?? ????impala.admission-control.clamp-mem-limit-query-option.root.development.regularPool ????true ??

二、impalad配置文件中添加這兩個(gè)文件的位置

--fair_scheduler_allocation_path：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/fair-scheduler.xml

--llama_site_path：/opt/Bigdata/MRS_2.1.1/1_17_Impalad/etc/llama-site.xml

修改完成后保存配置并重啟服務(wù)

三、并發(fā)提交impala查詢進(jìn)行測(cè)試

admin用戶提交到root.development隊(duì)列，用法：impala-shell -i ${impalad} -f ${query_file}-Q request_pool=root.development &

llama-site.xml中的配置控制并發(fā)度

如llama-site.xml所示root.development隊(duì)列running的SQL個(gè)數(shù)不超過1個(gè)，queued的SQL個(gè)數(shù)不超過2個(gè)，如上如所示，按照配置生效了。

多個(gè)隊(duì)列同時(shí)存在

攔截?zé)o權(quán)限提交隊(duì)列的用戶

參考文檔：https://impala.apache.org/docs/build/html/topics/impala_admission_config.html

MapReduce服務(wù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。