大數據“復活”記
967
2025-04-01
一、使用gs_cgroup工具配置控制組
1.1配置邏輯集群資源配額
配置標準報告的多租戶控制組,父租戶80%cpu配額(線下8.0版本只能用整個集群80% )、自主分析控制組 class2:analyze 50%cpu(根據需求調整)配額,標準報告控制組class1:standard 50%cpu。
命令
gs_ssh -c “gs_cgroup -c -N LC_B”
創建class控制組
gs_ssh -c "gs_cgroup -c -S findm_b_tenant -N LC_B "
創建workload用戶組
gs_ssh -c " gs_cgroup -c -S findm_b_tenant -N LC_B? -G workload_standard –g 50"
gs_ssh -c " gs_cgroup -c -S findm_b_tenant -N LC_B? -G workload_analyze ?-g 50"
gs_ssh -c " gs_cgroup -u -S findm_b_tenant -N LC_B? -G workload_standard –g 50"
gs_cgroup -u -S class1 -G grp1 -g 30
修改CPU配額
gs_cgroup -u -S ${Class控制組名稱} -N ${邏輯集群名稱} -G ${Workload控制組名稱} -g ${CPU配額}
gs_ssh -c “gs_cgroup -c -N LC_B –S FINDM_B_TENANT -s 40 -G wg1 -g 20”
gs_ssh -c " gs_cgroup -u -S findm_b_tenant -N LC_B? -G workload_analyze –g 50"
1.1.4查看配置文件中控制組信息。
gs_cgroup –p –N LC_B
select? * from gs_all_control_group_info;
1.2配置邏輯集群資源限額
增加CPU 限額 配置
gs_cgroup -u -S ${Class控制組名稱} -N ${邏輯集群名稱} -G ${Workload控制組名稱} -g ${CPU限額} –fixed
命令示例:
gs_cgroup -u -S findm_b_tenant -N LC_B -G workload_analyze -g 50 –fixed
gs_cgroup --fixed -u -S class1 -G grp1 -g 30
集群配置:
gs_ssh -c "gs_cgroup -u -S findm_b_tenant -N LC_B -G workload_analyze -g 50 --fixed"
gs_ssh -c "gs_cgroup -u -S findm_b_tenant -N LC_B -G workload_standard -g 50 --fixed"
更新配額
/* gs_ssh -c “gs_cgroup -u -T findm_b_tenant -N LC_B ?-G workload_analyze –t 50 --fixed”*/
二、多租戶配置
2.1配置多租戶
1.創建父租戶,內存占集群內存100% (先建父租戶資源池(角色綁定),后建業務租戶資源池)
CREATE RESOURCE POOL findm_b_pool WITH (CONTROL_GROUP="tenant", NODEGROUP="LC_B",MEM_PERCENT=100);
2.創建業務租戶,內存占父租戶內存50%,復雜作業并發10。
CREATE RESOURCE POOL findm_stand_child WITH (CONTROL_GROUP="tenant:workload_standard", NODEGROUP="LC_B",MEM_PERCENT=50,ACTIVE_STATEMENTS=10);
自主分析的設置成50%,復雜作業并發10。
CREATE RESOURCE POOL findm_analyze_child WITH (CONTROL_GROUP="b_tenant:workload_analyze", NODEGROUP="LC_B",MEM_PERCENT=50,ACTIVE_STATEMENTS=10);
示例:
2.2用戶關聯多租戶(關聯業務用戶)
1.創建角色關聯父租戶(必須,所有業務用戶都關聯到該角色)
CREATE ROLE stand RESOURCE POOL '_pool'
NODE GROUP "LC_B" NOLOGIN PASSWORD DISABLE;
2.創建用戶關聯業務租戶
CREATE USER {分析用戶}? PASSWORD 'xxxxx' RESOURCE POOL 'standard_pool' NODE GROUP "LC_B" USER GROUP 'stand';
3.將已存在用戶關聯業務租戶
ALTER USER {分析用戶} RESOURCE POOL 'analyze_child' NODE GROUP "LC_B" USER GROUP 'stand';
示例:
ALTER USER qtest RESOURCE POOL 'stand_child' NODE GROUP "LC_B" USER GROUP 'stand';
ALTER USER distest RESOURCE POOL 'analyze_child' NODE GROUP "LC_B" USER GROUP 'stand';
三、GaussDB 異常規則
3.1異常規則清單
3.2配置異常規則
序號
作用
規則名稱
配置命令
1
CPU傾斜率
cpuskewpercent
gs_ssh -c "gs_cgroup -N LC_B -S? findm_b_tenant -G workload_analyze -E "cpuskewpercent=50,qualificationtime=3200" -a "
2
執行時間
elapsetime
gs_ssh -c "gs_cgroup -N LC_B -S? findm_b_tenant -G workload_analyze -E "elapsedtime=2400" -a "
3
阻塞時間
blocktime
gs_ssh -c "gs_cgroup -N LC_B -S? findm_b_tenant -G workload_analyze -E "blocktime=1200" -a "
4
落盤空間
spillsize
gs_ssh -c "gs_cgroup -N LC_B -S? findm_b_tenant -G workload_analyze -E "spillsize=10240" -a "
四、GaussDB單作業限制
query_max_mem 是執行作業所能夠使用的最大內存,如果設置的query_max_mem值大于0,當作業執行時所使用內存超過該值時,將報錯退出。
1.整個集群設置內存限制作為缺省值(如非標報告):
gs_guc reload -Z coordinator -Z datanode -N all -I all -c “ query_max_mem =value?“
2.標準報告 通過 set query_max_mem=0不限制
gs_cgroup –P 查看當前節點資源池掛載情況
Gs_cgroup –h 可以查看幫助
錯誤處理
需要重新掛載cgroup
卸載cgroup
sudo /opt/huawei/Bigdata/mppdb/core/bin/gs_cgroup? -U omm –d
裝載cgroup
gs_cgroup -U omm -H /opt/huawei/Bigdata/mppdb/core –c
EI企業智能 Gauss AP 數據倉庫服務 GaussDB(DWS)
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。