大數據“復活”記
720
2025-04-01
GaussDB(DWS)華為云數倉使用實踐–預算有限?華為云數倉集群在線縮容幫你解決煩勞
【摘要】共有云上客戶面在使用GaussDB(DWS)數倉時,在業務不同的時段,對數倉的計算資源大小有不同的需求。在業務繁忙、流量高峰的時候需要對DWS集群節點擴容,增強業務負載能力,業務峰值過去,則需要減少數據庫節點,釋放計算資源,降低成本壓力。華為云數倉GaussDB(DWS)已經支持集群節點在線擴容能力,在8.1.1.300版本支持在線縮容能力。
一、背景介紹
公有云上客戶面在使用GaussDB(DWS)數倉時,在業務不同的時段,對數倉的計算資源大小有不同的需求,通常有以下訴求:
在業務繁忙、流量高峰的時候需要對DWS集群節點擴容,增強業務負載能力;
業務峰值過去,平緩時期則需要減少數據庫節點,釋放計算資源,降低成本壓力;
擴容和縮容盡可能的不影響客戶業務
目前,華為云上GaussDB(DWS)集群已經支持在線節點擴容能力,8.1.1.300版本新增在線節點縮容能力,以滿足客戶需求。
二、華為云GaussDB(DWS)縮容使用簡介
GaussDB(DWS)數倉集群在縮容之前需要滿足以下條件:
集群狀態為Normal,重分布狀態為No,不能是只讀。
集群配置文件已經生成,配置的信息正確并且和當前集群狀態一致。
縮容前用戶需要確保default_storage_nodegroup參數值為installation。
縮容期間不支持性能檢查腳本gs_checkperf。
集群按照環的方式配置,比如4個或5個主機組成一個環,這些主機上的DN主節點、備節點和從節點都部署在這個環里, 縮容的最小單元是一個環。
縮容的主機不能包含ETCD組件,GTM組件,CM Server組件。
縮容不支持包括CN的節點,如果包括CN,先使用增刪CN工具,刪除CN后再縮容。
縮容不支持回滾,支持重入。縮容數據重分布失敗,不影響業務,用戶可選擇合適的時間盡快完成重分布,否則會導致數據長期分布不均勻。
重分布前,需要保證對應數據庫下的data_redis為重分布預留schema,不允許用戶操作該schema和其內部表。因為在重分布過程中,會使用到data_redis并且重分布結束后會刪除該schema,如果存在用戶表,則可能會出現數據誤刪。
在邏輯集群模式下,一次只能對一個邏輯集群執行縮容,不支持對整個物理集群進行縮容。
縮容過程不支持gs_cgroup操作。
收縮后的節點必須有足夠的存儲空間存放整個集群的數據,否則縮容無法正常。執行縮容前,需對集群剩余容量進行檢查,條件滿足后可進行縮容。
所有節點已使用物理磁盤空間均小于80%。
所有用戶和角色的使用量均小于配額的80%。
總數據量縮容后的空間預估要小于80%。
縮容過程中系統將關閉“自動剔除故障CN”功能,在縮容完成后系統再次打開該功能。
系統后臺會自動檢查用戶用戶集群是否滿足上述條件,如果不滿足,則縮容按鈕置灰,用戶無法操作,用戶可以通過點擊了解更多查看華為云DWS集群不滿足縮容的條件。
當用戶在華為云上的DWS集群滿足節點縮容條件的時候,在集群管理頁面->更多標簽下縮容選項變得可選
當用戶點擊縮容后,會進入縮容詳情頁面
在縮容詳情頁面用戶可以對集群節點縮容參數定制化選擇:
縮容節點數
是否自動備份集群當前狀態快照(默認自動備份)
是否在線縮容(默認離線)
當用戶選擇完畢后,點擊下一步確認后,會展示縮容詳情,用戶在這一步可以選擇確定縮容或者返回上一步修改參數
用戶點擊確定后,系統后臺會對用戶授權進行檢查,若果用戶未授權DWS使用VPC權限,則會彈出提示框提醒用戶授權,用戶同意授權后,系統后臺便開始對集群縮容
集群縮容中狀態
當用戶在縮容的執行失敗的時候,可以在DWS集群管理頁面選擇重試縮容或者刪除集群
當因為集群故障,導致用戶集群縮容失敗時,系統后臺會記錄縮容不走,當用戶選擇重試縮容后,系統后臺會以之前用戶的設置到之前記錄的步驟重試縮容,直到縮容完成。
數據倉庫服務 GaussDB(DWS)
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。