GaussDB for DWS 負(fù)載管理核心技術(shù)解密一：全景圖及解決的場(chǎng)景

DWS工作負(fù)載管理概述

在實(shí)際的業(yè)務(wù)場(chǎng)景中，使用DWS的客戶可能會(huì)同時(shí)使用多個(gè)用戶同時(shí)運(yùn)行查詢作業(yè)，這其中有些查詢可能會(huì)非常復(fù)雜，此時(shí)如果對(duì)數(shù)據(jù)庫(kù)資源未做控制，這些復(fù)雜作業(yè)的查詢?nèi)菀渍加么蟛糠值募嘿Y源并長(zhǎng)時(shí)間運(yùn)行，從而影響其他查詢的性能，使其不得不等待哪些復(fù)雜作業(yè)執(zhí)行完成。

其實(shí)在上述場(chǎng)景中，我們完全可以對(duì)這些執(zhí)行復(fù)雜作業(yè)的用戶進(jìn)行分組，對(duì)這些用戶進(jìn)行合理的資源限制，使在可接受的執(zhí)行時(shí)間范圍內(nèi)使用一定的資源執(zhí)行這些復(fù)雜查詢，同時(shí)劃分出部分資源給那些查詢消耗沒(méi)那么大的用戶，這樣在部分用戶執(zhí)行復(fù)雜作業(yè)的同時(shí)，另一部分用戶的作業(yè)也不會(huì)受到太大影響。

這就是DWS工作負(fù)載管理多隊(duì)列資源管控的思想模型，客戶可以根據(jù)自己的業(yè)務(wù)特點(diǎn)預(yù)先創(chuàng)建好多個(gè)工作負(fù)載隊(duì)列，對(duì)每個(gè)隊(duì)列配置好可以使用的資源上限，然后為每種業(yè)務(wù)創(chuàng)建好數(shù)據(jù)庫(kù)用戶并添加到對(duì)應(yīng)的隊(duì)列中，這樣每次這些不同的用戶在提交作業(yè)的時(shí)候都會(huì)被分配到對(duì)應(yīng)的隊(duì)列中，只能使用該隊(duì)列中擁有的資源執(zhí)行作業(yè)，隊(duì)列資源不足時(shí)，該查詢將在該隊(duì)列中排隊(duì)等待執(zhí)行，各個(gè)隊(duì)列之間資源個(gè)各自隔離，各不沖突，這樣當(dāng)一些數(shù)據(jù)庫(kù)用戶在自己隊(duì)列中執(zhí)行一些非常耗時(shí)的查詢作業(yè)時(shí)，其他用戶在各自的隊(duì)列同時(shí)在執(zhí)行一些簡(jiǎn)單或者有自己業(yè)務(wù)特點(diǎn)的作業(yè)，這些作業(yè)互不干擾。

工作負(fù)載管理功能以隊(duì)列為資源承載點(diǎn)，目前可以配置隊(duì)列的CPU時(shí)間片占比、內(nèi)存占比、并發(fā)（復(fù)雜查詢并發(fā)數(shù)）以及磁盤(pán)空間大小（永久表空間）等資源。

CPU資源配比為隊(duì)列可使用的最小時(shí)間片占比，當(dāng)某個(gè)隊(duì)列A的CPU負(fù)載超限并且有某個(gè)隊(duì)列B恰好空閑時(shí)，隊(duì)列A可以暫時(shí)使用空閑隊(duì)列B的CPU資源，但是一旦空閑隊(duì)列B開(kāi)始對(duì)CPU資源有訴求時(shí)，將會(huì)收回“出借”給隊(duì)列A的CPU資源。這種CPU控制方式我們稱之為CPU配額控制，即可以保證至少有配比的資源可用。

DWS在創(chuàng)建集群時(shí)會(huì)根據(jù)集群中的節(jié)點(diǎn)規(guī)格為每個(gè)DN計(jì)算好可用的內(nèi)存大小max_process_memory，DN在啟動(dòng)時(shí)會(huì)一次性申請(qǐng)max_process_memory大小的內(nèi)存，DWS會(huì)在此基礎(chǔ)上，根據(jù)每個(gè)隊(duì)列的內(nèi)存配比，對(duì)作業(yè)使用的內(nèi)存進(jìn)行限制。隊(duì)列中所有數(shù)據(jù)庫(kù)用戶共享隊(duì)列內(nèi)存，并且執(zhí)行作業(yè)可消耗的內(nèi)存資源不超過(guò)隊(duì)列的內(nèi)存配比。

DWS目前只支持永久表空間的存儲(chǔ)資源限制，隊(duì)列中所有數(shù)據(jù)庫(kù)用戶共享隊(duì)列的存儲(chǔ)資源，并且可使用的永久表空間大小不超過(guò)隊(duì)列配置的存儲(chǔ)資源大小。

隊(duì)列的并發(fā)數(shù)指的是隊(duì)列內(nèi)多有數(shù)據(jù)庫(kù)用戶可同時(shí)執(zhí)行的作業(yè)數(shù)，作業(yè)數(shù)達(dá)到并發(fā)數(shù)限制之后，再提交的作業(yè)會(huì)在隊(duì)列中排隊(duì)等待執(zhí)行。

DWS負(fù)載管理頁(yè)面介紹

頁(yè)面概覽

DWS負(fù)載管理頁(yè)面主要包括工作負(fù)載管理配置區(qū)域、工作負(fù)載隊(duì)列列表區(qū)域以及工作負(fù)載隊(duì)列詳情展示區(qū)域，工作負(fù)載管理配置用來(lái)管理工作負(fù)載功能的全局配置，包括工作負(fù)載開(kāi)關(guān)和全局最大并發(fā)數(shù)的配置（每個(gè)CN的最大并發(fā)數(shù)）；工作負(fù)載隊(duì)列列表區(qū)域顯示所有已創(chuàng)建的工作隊(duì)列，可以在這里添加隊(duì)列；隊(duì)列詳情區(qū)域包括隊(duì)列的短查詢配置、資源配置、異常規(guī)則配置以及隊(duì)列中數(shù)據(jù)庫(kù)用戶的管理。

添加隊(duì)列

添加一個(gè)工作負(fù)載隊(duì)列并配置相應(yīng)的資源

修改隊(duì)列

修改一個(gè)隊(duì)列資源配比

向隊(duì)列中添加數(shù)據(jù)庫(kù)用戶

向隊(duì)列中添加數(shù)據(jù)庫(kù)用戶，以限制該用戶執(zhí)行作業(yè)時(shí)消耗的資源占比

從隊(duì)列中移除數(shù)據(jù)庫(kù)用戶

從隊(duì)列中將已添加的某個(gè)數(shù)據(jù)庫(kù)用戶移除，每個(gè)數(shù)據(jù)庫(kù)用戶只能添加到一個(gè)隊(duì)列中，從隊(duì)列中移除之后可再添加至其他隊(duì)列中

作為工作負(fù)載管理系列的開(kāi)端，以上就是DWS工作負(fù)載管理的基本使用場(chǎng)景介紹以及基礎(chǔ)功能概覽，后續(xù)我們會(huì)陸續(xù)推出對(duì)CPU、內(nèi)存、并發(fā)、磁盤(pán)等單項(xiàng)資源管控機(jī)制深度解密的系列博文，敬請(qǐng)關(guān)注。

數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。