5分鐘用上毫秒級NoSQL數據庫，讓你提前下班

NoSQL數據庫這么火，時序數據庫這么火，軌跡數據怎么存？領導吩咐要調研一下HBase/OpenTSDB/GeoMesa。卷起袖子開始做，可是加班加點過了兩三天，環境還沒搭建好，又遇到一個BUG，正在潛心研究，領導過來問：“HBase/OpenTSDB究竟是否符合需求？”，“還在搭環境呢”，老板嘟噥”不就是開源軟件嘛，拿過來用一用，這么難“，順便帶著鄙視的小眼神看著你。

此時你是有苦說不出啊。兄弟，讓你5分鐘就能使用上毫秒級的NoSQL數據庫（CloudTable，支持HBase/OpenTSDB/GeoMesa接口），讓你專注于業務開發，提前下班，了解一下？

從零開始使用

開源Hadoop/HBase的故事

Google在03年到06年發表了劃時代意義的三篇論文：Google File System（GFS），MapReduce和BigTable，開啟了大數據時代的閥門。接下來基于GFS和MapReduce的開源實現Hadoop和 BigTable的開源實現HBase，算是真正引領了大數據的潮流。

大概7年前，也就是2011年，那時候的Hadoop剛剛過了少年期，逐步進入青年期，互聯網行業爭先恐后開始實踐基于Hadoop及其生態的大數據應用。當時正在讀研究生的我也是努力想要將Hadoop和HBase應用到GIS(Geographic Information System)領域。

那么第一步就是要安裝一套Hadoop和HBase的環境，存儲一些GIS相關的數據進行一些試驗。就這第一步，當時我和另外一個同學折騰了2個星期才將環境搭建完成。首先是在自己的windows機器上使用免費的VMware虛擬出三個虛擬機，然后下載安裝Hadoop和HBase。

在這個過程中，國內幾乎很少有關于Hadoop和HBase的中文資料，安裝流程都是需要自己去看官網，偏偏官網資料非常有限，軟件版本也是有許多bug，安裝過程中遇到問題，只能去搜索issues和mail，作為一個非計算機專業的學生，當時的編碼能力和英文能力都是硬生生被逼上了一個臺階，也算是一件好事，后來畢業之后從事跟HBase相關的工作，遇到了許許多多初入門的同行，發現為了搭建一個集群耗時2周很是稀松平常的事情。當然隨著大數據的不斷發展，現在的資料也是越來越多，越來越完善，為大家剛開始使用降低了門檻。

集群搭建好了之后，在使用開源軟件的過程中，也常常會碰到一些使用上的問題以及軟件bug，這些問題的解決又會耗費許多時間和精力，個中滋味恐怕只有經歷過的程序員們才能體會了。以上這些“體驗”還僅僅將HBase搭建起來，如果是真正要使用這些開源軟件搭建一個生產系統，并且對用戶提供一套穩定可靠的服務或者軟件系統，那其中的維護和學習成本又跟這2周的“體驗成本”完全不是一個數量級了。

正是大數據的火熱以及開源軟件的維護和學習成本之高，因此各大廠商都推出了基于Hadoop及其生態系統（后續提到Hadoop都是泛指Hadoop和相關生態的開源組件，而不僅僅指Hadoop本身）大數據的企業版本，比如Cloudera的CDH、華為的FusionInsight等等，使得Hadoop在私有云中的應用非常廣泛。

如何選擇大數據服務提供商

提到私有云，怎能不提當前更加火熱的公有云，國外的微軟Azure、AWS、Google Cloud Platform等公有云廠商都提供了托管的Hadoop相關服務，值得一提的是Google Cloud的BigTable服務也支持了HBase的接口，可見開源HBase的影響力。國內的阿里、騰訊、百度、華為等公有云廠商也都提供了Hadoop及生態的服務。

問題來了

我們真正要使用大數據基礎服務的時候，我們到底是自建還是選擇大數據服務提供商，到底是選擇公有云、私有云還是混合云呢？

如果自建大數據基礎服務，好處就是不用付license費用，但是前期的安裝部署、使用、優化，后期的維護、升級、補丁，這些成本非常高，前面我的2周還僅僅是搭建，可以說是萬里長征的第一步。因此筆者建議如果不是自身要做大數據服務，最好還是選擇一個靠譜的大數據服務提供商，畢竟社會分工，讓專業的人做專業的事，企業做好自己想要賺錢的業務是王道。

如果要選擇大數據服務提供商，到底是選擇公有云、私有云還是混合云呢？先介紹一下這三者的概念和區別，或許大家就會心中有數了。

什么是公有云？

一般來說，公有云的資源是由第三方云服務提供商擁有和運營的，所有的硬件、軟件等基礎設置都歸云服務商所有，所有的租戶共享計算、存儲和網絡這些基礎設施。

華為云是一個典型的公有云代表。租戶可以使用瀏覽器訪問服務和管理賬戶。公有云是當前部署云計算最常見的方式，也是當前最火的方式。未來的公有云的競爭不是簡單的一個線上服務的競爭，而是一個全堆棧的競爭，客戶希望是一個透明的IT基礎設施。

尤其是人工智能、IoT、以及視頻等技術對原有IT基礎設施架構的重構已經產生了積極的推動作用，而重構IT基礎設施，需要從芯片、硬件到系統，做垂直優化的設計。華為在過去這么多年，圍繞芯片、硬件、系統、數據庫、操作系統等投資，是非常深的，也是非常寬的。華為致力于做”黑土地”，期望為企業提供更好的云服務。

公有云通常有幾點優勢：

1) 免運維。維護都是有云服務提供商提供。

2) 高可靠性。具備眾多服務器，確保免受故障影響，并且云服務提供商都會通過一系列手段進行虛擬化，使得磁盤、服務器故障而不影響上層業務。

3) 更好的擴展性。提供按需的資源，包括存儲、計算、網絡等，更好的滿足業務的不確定性以及快速增長。

4) 更低的成本。不需要預先購置硬件、軟件，僅僅需要對使用的服務付費。

什么是私有云？

私有云是一個企業或者組織獨自擁有云計算的資源，一般來說物理上是位于企業或組織自己的數據中心，也存在讓第三方服務商托管的情況，這種情況也可以稱之為托管云，不過也是私有云的一種。

在國內私有云銷售第一的華為FusionInsight是私有云的一個示例。在私有云中，服務和基礎設施都在私有網絡中維護。使用私有云比較多的一般是政府機構、金融機構以及希望對環境擁有更大控制權的中型到大型組織。

私有云通常具備的優勢：

1) 更高的靈活性。組織可自定義整個云環境以滿足特定業務需求。

2) 更高的安全性。基礎資源完全不與其他組織共享，從而實現更高的控制性和安全性級別。

什么是混合云？

混合云一般就是私有云和公有云的結合，被認為是“兩全其美”，將本地基礎架構或私有云與公有云相結合。在混合云中，數據和應用程序可在私有云和公有云之間移動，從而可提供更大靈活性和更多部署選項。在混合云中，還可選擇“云爆發”。應用程序或資源在私有云中運行出現需求高峰時可選擇“云爆發”，此時可“沖破”私有云至公有云以使用其他計算資源。

混合云通常具備的優勢：

1) 更好的控制性。組織可針對敏感資產維持私有基礎結構。

2) 較好的靈活性 。在云爆發的時候需要時可利用公有云中的其他資源，但是搭建的復雜度肯定比公有云更高。

3) 較低的成本效益。具備擴展至公有云的能力，在需要時支付額外的計算能力。

4) 容易輕松 。?無需費時費力即可轉換至云，因為可根據時間按工作負荷逐步遷移。

毫秒級NoSQL數據庫

CloudTable的介紹

根據以上介紹，那么如果要更快更輕松的用上大數據服務，當然是優先選擇公有云上的云服務。華為云的表格存儲服務CloudTable是基于Google三駕馬車之一的HBase及其生態構建的毫秒級NoSQL數據庫，致力于為企業用戶提供更加便捷、更高性能的HBase及其生態的服務，當前集成了OpenTSDB和GeoMesa以更好的支持時序數據和時空數據的存儲和查詢。接下來剖析一下CloudTable相對自建HBase/OpenTSDB/GeoMesa有什么優勢呢？

內核深度優化

華為從2010開始做Hadoop，擁有社區核心的PMC和committer，第一屆亞洲HBaseCon就是2017年在深圳天安云谷由華為主辦的。CloudTable中的HBase內核版本是我們經過多年內部和私有云的打磨的版本。

基于社區HBase 1.3版本進行深度內核優化，修復社區關鍵BUG，優化HBase運行參數。兼容原生HBase常規表操作/數據讀寫接。

OpenTSDB/GeoMesa也是經過內核專家經歷了物聯網應用，包括華為內部的物聯網應用打磨之后的版本，包括性能優化、bug修復、參數優化等。部分場景性能相比社區提升60%，部分場景提升100%，基本都能保證30%-300%的性能提升。

深度優化的云上架構

下圖是一個云上CloudTable的基本架構圖，從下面架構圖也可以清晰的看出來一些優勢的。

CloudTable公測上線就采用了存儲和計算分離的架構，計算CU部署在公有云的計算域，數據存儲在存儲域，可以為用戶帶來更好的靈活性，更低的成本。

更高的靈活性

針對于海量數據存儲的Hadoop系統以及HBase這類型的NoSQL數據庫，我們在做集群規劃的時候，其中非常關鍵的一步就是匹配計算量與存儲量，以實現資源的更好利用以及更優的性能。而把計算與存儲分離后，集群規劃則變得簡單很多，計算層的資源只需要根據吞吐量和訪問時延等性能指標進行估算，存儲資源完全不需要提前估算，真正做到了按需使用。

不僅如此，存儲計算分離之后，計算層可以做到秒級擴容，存儲層的毫秒級擴容，存儲和計算層的擴容相互不影響，應用不感知，使得系統變得非常靈活。

更低的成本

對于HBase來說，計算CU占用的內存、CPU資源并不是很多（相對于spark這種計算型的組件來說），占用的存儲資源可能會很多，對帶寬的資源要求較高。存儲和計算分離之后，存儲資源完全按需收費，不需要提前規劃存儲資源，計算資源不需要過高規格。同時相對于基于EVS搭建HBase集群而言，EVS的3備份和HDFS的3備份疊加，會導致數據保存9備份，而引入華為DLC存儲架構之后，底層存儲默認只會保存3備份，存儲成本下降2/3。

更高的性能

對于數據庫來講，性能是至關重要的，因此CloudTable做了許多事情來提升性能。包括對HBase/OpenTSDB/GeoMesa的內核的修改。包括底層架構上，比如計算域和存儲域之間是專用的網卡，提供6*40GE的帶寬。包括對OpenTSDB和HBase性能影響大的compaction操作下沉等。

健全的安全機制

包括云上的賬號密碼、VPC隔離、計算CU只開放了指定的端口。CloudTable的計算CU是基于容器的，存儲是基于物理機的，容器和物理機之間網絡完全隔離。CloudTable商用之后會提供基于AK/SK認證，HTTPS訪問等以遵循華為安全認證。

最后：

這個讓你可以提前下班的方法，歡迎大家試用CloudTable，當前CloudTable還在公測免費中。單擊下方鏈接，可立即參與！

https://www.huaweicloud.com/product/cloudtable.html

hbase

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。