GaussDB（DWS）負載管理核心技術解密三： 工作負載管理測試分析

工作負載管理測試

該文章從產品的易用性，功能性 ，可測試等幾個維度對dws工作負載管理，aws redshift WLM，FIM 多租戶進行測試分析比對。

DWS負載管理測試

1.首先在該頁面創建一個集群：

2.選中該集群選擇工作負載管理：

3.選擇添加工作負載管理隊列,該頁面可以設置隊列的cpu，內存，存儲空間，作業的并發數：

4.關聯用戶之后就可以使用該用戶去運行作業：

注釋：創建隊列以及關聯用戶的后臺實現為如下，此處不需要人工干預。

添加工作負載管理隊列的后臺的操作是創建一個組，創建對應的資源池，組用戶，對應隊列計算資源的設置是在資源池上，存儲資源的設置落在組用戶上，之后該隊列的關聯用戶即為組用戶的子用戶：

例：隊列資源配置為：CPU配額20%，內存30%，存儲空間102400M，查詢并發10，隊列名稱：queue1

a.)? gs_ssh -c “gs_cgroup -c -S s_queue1 -s 20” //創建class控制組

b.)? create resource pool s_ queue1 with (control_group='s_queue1', active_statements=-1,mem_percent=30); //創建組資源池

c.)? create role s_queue1 resource pool 's_queue1' password? disable perm space? '102400';? //創建組用戶

d.)? gs_ssh -c “gs_cgroup -c -S s_queue1 -G queue1 -g 99” //創建workload控制組，100%繼承class控制組的資源

e.)? create resource pool queue1 with (control_group='s_queue1:queue1', active_statements=10,mem_percent=100); //創建業務資源池

5.前臺頁面可以顯示作業的運行情況，顯示的是運行作業的個數比較清晰：

6.短查詢加速：dws短查詢配置默認支持短查詢可以優先并且內存不受資源池管控，而且可以控制短查詢并發個數，該特性保留接口后續會把該特性優化做到短查詢內存受資源池內存管控；

查詢配置：

查詢概覽：

后臺統計：

注釋：此處是短查詢加速可以看到對應的用戶沒有內存占用也就是這里我們短查詢加速的時候目前不占用資源池內存。

FIM多租戶測試

1.需要創建一個父租戶，之后再創建一個子租戶：

2.添加子租戶：

Aws redshift工作負載管理測試

1.添加一個隊列，并且只能設置內存跟并發：

注釋：redshift WLM?根據用戶組和查詢組向隊列分配查詢，所以需要自己手動創建用戶組，查詢組并手動將相應的組關聯到隊列，比較麻煩。

2.作業運行查詢概覽，對應的不是作業個數：

3.短查詢加速：aws的短查詢設置之后內存不受管控，不在隊列之內需要預留內存資源，通過預測時間來控制短查詢的下發，控制很容易不精確，而且不能控制短查詢個數；

select * from STV_WLM_SERVICE_CLASS_CONFIG

測試總結：

通過以上測試分析得到以下結論：

1.dws的工作負載管理作業并發數沒有限制，隊列只要cpu,內存不超過上限值就可以，下發作業更靈活，而且作業查詢概覽統計的即為作業個數，查詢結果更清晰；aws redshift WLM?最多 8 個隊列，每個隊列可配置最高 50 的并發級別，所有用戶定義的隊列（不包括超級用戶隊列）的最高并發級別總數為 50,導致作業下發個數受限，而且查詢個數跟作業個數不一致導致查詢結果不夠清晰；

2.dws的設置不需要重啟集群既可以生效;aws的設置需要重啟集群；

3.dws的工作負載管理平均統計時間是5S，誤差小 ;aws的異常處理規則是10S 統計一次，導致異常處理誤差大；

4.cpu的管控：dws的工作負載隊列就能設置，比較容易；aws 的管控需要另外設置異常處理規則比較麻煩；

5.磁盤空間的管控：dws的磁盤空間管控工作負載隊列即可設置；aws的只能管控臨時下盤空間并且需要設置異常處理規則；

6.dws的短查詢加速更靈活多樣多種選擇，可以選擇短查詢內存走資源池也可以選擇不走資源池，而且可以控制短查詢的并發個數；aws的短查詢加速只是不走資隊列，沒有個數的管控，只是通過預測時間來限制是否走短查詢加速，不夠精確；

7.dws的負載管理頁面可以查到用戶正在使用的內存大小跟用戶的使用空間大小；aws的沒有這樣細致的統計頁面；

8.易用性：dws工作負載隊列更容易設置；

綜上所述dws的工作負載管理易用性，功能性都是比較好的，而且該模塊易于維護更能滿足用戶進行合理的資源限制，使在可接受的執行時間范圍內使用一定的資源執行這些復雜查詢，同時劃分出部分資源給那些查詢消耗沒那么大的用戶，這樣在部分用戶執行復雜作業的同時，另一部分用戶的作業也不會受到太大影響。

EI企業智能 Gauss AP 數據倉庫服務 GaussDB(DWS)

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。