GaussDB（DWS）負(fù)載管理核心技術(shù)解密四： 工作負(fù)載計(jì)劃解密

工作負(fù)載計(jì)劃的需求來源于客戶，客戶有多種業(yè)務(wù)，期望每個(gè)時(shí)間段的主導(dǎo)業(yè)務(wù)能分配更多的資源，以支撐業(yè)務(wù)更好的運(yùn)行。客戶明確希望我們能夠提供一種提前配置好各個(gè)時(shí)間段各個(gè)隊(duì)列的資源配比，到點(diǎn)自動(dòng)切換各隊(duì)列資源配比或根據(jù)實(shí)際情況手動(dòng)切換的功能，并能夠?qū)雽?dǎo)出這種配置以便測(cè)試環(huán)境測(cè)好的配置可以應(yīng)用到生產(chǎn)環(huán)境或者其他集群環(huán)境。

工作負(fù)載計(jì)劃是多個(gè)工作負(fù)載隊(duì)列的自由組合，通過配置負(fù)載隊(duì)列來配置資源池保證系統(tǒng)資源的可控。配置資源池之后能強(qiáng)制用戶 發(fā)送的請(qǐng)求所消耗的CPU，內(nèi)存不能超過限制，限制了資源使用量，隔離了失控查詢對(duì)系統(tǒng)的影響，我們資源管理在一個(gè)多用戶 高并發(fā)的環(huán)境控制不同的工作負(fù)載對(duì)內(nèi)存CPU 磁盤空間作業(yè)個(gè)數(shù)，使得系統(tǒng)能得到可預(yù)測(cè)性的控制和保證，減少資源搶占引起的超時(shí)等待，防止資源耗盡，資源使用更合理。

內(nèi)存方面：集群有一個(gè)CN會(huì)作為中心協(xié)調(diào)節(jié)點(diǎn)（CCN），用于收集和調(diào)度作業(yè)執(zhí)行。查詢語句到不同的CN之后，由優(yōu)化器估算作業(yè)大小，由CCN進(jìn)行控制作業(yè)釋放下發(fā)，以及何時(shí)喚醒需要運(yùn)行的作業(yè)。設(shè)置工作負(fù)載隊(duì)列內(nèi)存大小，來限制所消耗內(nèi)存可以保證用戶使用不超過負(fù)載管理的限制；另外由于linux系統(tǒng)會(huì)保護(hù)一些系統(tǒng)進(jìn)程而將其他進(jìn)程kill 釋放資源，這是操作系統(tǒng)的OOM機(jī)制，我們負(fù)載管理可以自動(dòng)控制作業(yè)使用的內(nèi)存，保證數(shù)據(jù)庫避免OOM，保護(hù)數(shù)據(jù)庫集群可以正常運(yùn)行；

CPU方面：管控在一個(gè)機(jī)器上運(yùn)行多個(gè)可能消耗大量資源的程序我們不希望出現(xiàn)某個(gè)程序占據(jù)了所有的資源導(dǎo)致程序無法正常運(yùn)行，或者造成系統(tǒng)假死無法維護(hù)。在這里我們使用了原生的Cgroup的機(jī)制。負(fù)載管理提供了一種可以按照權(quán)重比率彈性分配CPU時(shí)間資源的手段：CPU繁忙的時(shí)候保證每個(gè)資源池的作業(yè)能拿到相對(duì)設(shè)置CPU大小比例的CPU,CPU空閑時(shí)保證CPU的利用率到100%，并且保證CPU的資源隔離；

磁盤管控方面：通過限制用戶的使用空間大小來保證集群用戶作業(yè)的可執(zhí)行性，執(zhí)行作業(yè)超過空間設(shè)置，會(huì)取消作業(yè)，并且程序會(huì)定期對(duì)用戶空間進(jìn)行修正，保證頁面拿到的用戶監(jiān)控使用磁盤空間大小的準(zhǔn)確；

工作負(fù)載計(jì)劃基于工作負(fù)載隊(duì)列對(duì)數(shù)據(jù)倉庫作業(yè)進(jìn)行管控，可以讓有更好的客戶體驗(yàn)，可以靈活定制業(yè)務(wù)的資源如何去管控 ，實(shí)現(xiàn)系統(tǒng)負(fù)載的均衡，避免業(yè)務(wù)爭(zhēng)取資源，實(shí)現(xiàn)所有作業(yè)的和諧共處，達(dá)到資源利用最優(yōu)；

EI企業(yè)智能 Gauss AP 數(shù)據(jù)倉庫服務(wù) GaussDB(DWS)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。