大數據“復活”記
778
2025-04-01
問題描述:
某局點DWS集群DB出現只讀異常,十分鐘后自動恢復,后又出現集群只讀自動恢復。
問題分析:
1. 集群只讀后磁盤自動下降恢復,只有三種場景可能只讀后自恢復:
臨時文件下盤
臨時表導入傾斜或數據量過大
有create table as select語句導入傾斜或數據量過大
2.?根據cm_agent日志,發(fā)現集群只讀時,主備dn 6439和6440所在磁盤同步上漲,排除臨時文件下盤場景
圖1. dn_6439 磁盤使用率cm_agent日志
圖2. dn_6440 磁盤使用率cm_agent日志
3. 集群只讀時,會殺掉當前所有語句,并在dn日志打印,排查dn日志只讀時間點被殺的語句,沒有create table as select語句,排除該場景
圖3. 業(yè)務sql
4. 查看其他節(jié)點cm_agent日志,發(fā)現磁盤空間無明顯變化,判斷是臨時表導入過程中,數據傾斜在dn_6439_6440
5. 查看cm_agent日志,監(jiān)控磁盤情況,只讀自恢復后,dn_6439_6440所在磁盤重新開始上漲
圖4. 集群再次只讀dn_6439 磁盤使用率cm_agent日志
6. 查看dn數據目錄下大文件,發(fā)現單DN大于6T的有四張表
具體查找方法見:https://bbs.huaweicloud.com/forum/thread-59485-1-1.html? ?中2.2.4
7. 在數據庫中查出這四張表,反饋給客戶整改
數據倉庫服務 GaussDB(DWS)
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發(fā)現本站中有涉嫌抄襲或描述失實的內容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發(fā)現本站中有涉嫌抄襲或描述失實的內容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。