華為云GaussDB(for Influx)揭密第六期——數據分級存儲

“只存儲這些數據一年就要花費200多萬？”

面對老板的質疑，小王又重新講解了一遍評估方案。為了支撐生產分析和系統運維，一個設備就需要幾十個檢測點數據，所有設備24小時不斷采集數據，一天的數據量就會達到TB級，這些數據至少存儲2年，再加上高可用的3副本，總的數據量會達到PB級。

小王又展示了當前云廠商存儲價格和性能對比的調研結果：

不同存儲其性能差異很大。例如NVME盤的吞吐量是SATA盤的7倍，IOPS超過了20倍，當然對應的成本也高出10倍左右。根據測試評估，低成本的存儲性能無法滿足大量數據的寫入和實時業務的監控，只得使用性能高的SSD盤，因此導致存儲的成本提高。

成本提高，老板自然不滿意。那如何才能既滿足性能需求，又能控制成本呢？小王想，“實際上，不是所有的數據處理都需要很高的性能，如果把價值高的數據放在高性能磁盤上滿足業務需求，價值低的數據放在低成本磁盤上降低成本，這樣不就既能滿足需求，又能降低成本了么？”

不過，想法很美好，現實很殘酷，要實現這個方案，小王面臨著更多的難題：

（1）怎么在一套系統中既能使用高性能存儲，又能使用低成本存儲？

（2）怎么區分高價值數據？

（3）高價值數據變成低價值數據后怎么自動轉儲？

（4）當前業務改造量要盡量少。

01?GaussDB(for Influx)解決方案

企業的數字化轉型，數據是基礎。為了能實時掌握設備、系統狀態，需要采集大量的數據并進行實時處理。這些數據都屬于時序數據，帶有明顯的特點，如時間戳、更新少、數據源唯一等。除了數據本身的特點，在業務應用上還具有如下特點：

隨著時間的推移，其被查詢和分析的概率越來越低。

隨著時間的推移，對數據分析的實時性要求越來越低。

隨著時間的推移，數據的精度要求越來越低。

數據只保留一段時間，到期后會刪除。

01?GaussDB(for Influx)解決方案

隨著時間的推移，其被查詢和分析的概率越來越低。

隨著時間的推移，對數據分析的實時性要求越來越低。

隨著時間的推移，數據的精度要求越來越低。

數據只保留一段時間，到期后會刪除。

02?GaussDB(for Influx)冷熱存儲的使用

2.2?設置冷數據規則

//在db名為mydb上創建名為myrp的RP，顯示指定WARM DURATION為6d，表示6天前的數據是冷數據。 create retention policy myrp on mydb duration 30d replication 1 warm duration 6d shard duration 3d //在db名為mydb上創建名為myrp的RP，沒有指定WARM DURATION，表示沒有冷數據。 create retention policy myrp on mydb duration 30d replication 1 shard duration 3d //創建名為mydb的db，并帶有名為myrp的RP，顯示指定WARM DURATION為3d，表示3天前的數據是冷數據。 create database mydb with duration 6d warm duration 3d name myrp //修改WARM DURATION為7d，表示7天前的數據是冷數據。 alter retention policy myrp on mydb warm duration 7d

2.3 使用效果驗證

> show shards name: hsdb id database retention_policy shard_group start_time end_time expiry_time owners tier -- -------- ---------------- ----------- ---------- -------- ----------- ------ ---- 5 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 4 cold 6 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 5 moving 7 hsdb myrp 2 2019-08-12T00:00:00Z 2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 6 warm 8 hsdb myrp 2 2019-08-12T00:00:00Z2019-08-19T00:00:00Z 2019-08-19T00:00:00Z 7

03?總結

04?結束

GaussDB數據庫 上云必讀 云數據庫 GaussDB(for Influx) 數據庫

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。