華為云技術私享會亮相深圳, 揭秘 300% 數據庫性能提升原理引熱議
科技改變生活,技術改變世界。8月25日,華為云技術私享會深圳站在南山科技園圓滿結束。本次活動圍繞數據庫展開,分享了以 MySQL 為代表的關系型數據庫、以及以 MongoDB 為代表的 NoSQL 數據庫技術新趨勢,并通過現場實戰演練和動手體驗,為初秋的深圳技術人員帶來一抹亮色體驗。
本次分享會的討論包括《 MySQL 云數據庫的性能優化和發展趨勢》、《華為云原生(Cloud Native)分布式數據庫技術》、《MongoDB 在云上的計算與存儲分離架構實踐》、《華為云數據庫體系及優勢解讀》、《云時代數據庫遷移的新挑戰與新玩法》等主題,全面介紹了華為云數據庫服務及技術全景,并就行業最新動向展開討論。
在云時代,企業IT業務走向跨地區、全球化部署,IT應用軟件逐漸云化、分布式化,要求數據庫也要基于云場景架構設計,具備跨地區分布式部署的能力。華為云技術專家總結了傳統數據庫上云或云服務化遇到的問題,同時深入介紹了華為云原生分布式數據庫的技術原理和最佳實踐。
在《MongoDB 在云上的計算與存儲分離架構實踐》主題分享中,針對華為云近期推出的 MongoDB 社區增強版,專家團隊就如何將其性能提升到 300% 的技術揭秘引人入勝,引發大家熱烈討論。
開源 MongoDB 的困境
眾所周知,MongoDB 作為全球流行度最高的 NoSQL 數據庫,強大的擴展性使其在流量具有強爆發性的場景使用中如魚得水。在現今互聯網直播、游戲業務、物聯網大數據盛行、業務流量峰值波動大的情況下,MongoDB 尤受企業歡迎。
但是,隨著企業發展和數據的不斷累積,滿足業務性能與數據存儲容量的需求也日益增長。在長時間的使用過程中,MongoDB 擴容時性能差、擴容耗時長、擴容成本高、存在資源浪費等缺點也逐漸顯現出來。
究其原因,還是在于傳統開源 MongoDB 采用的三副本架構本身。
首先,開源 MongoDB 集群擴容以 3 節點為單位,擴容成本高,Secondary 節點平時并不處理業務請求,造成資源浪費。此外,固定的節點復制關系,不能容忍任意 2 節點以上的故障,節點故障數據重同步時間長,長時間處于降級狀態,故障重構能力差。
由于存儲數據使用本地文件系統,每一個 shard(分片) 節點之間數據是相對獨立的。當擴容時,需要將已有節點的數據均衡到新節點;因為數據獨立存在,所以要對數據進行網絡拷貝;也因此,MongoDB 擴容后性能不能立即得到提升。
此外,數據拷貝對節點資源消耗很大,出于對整體性能的考慮,MongoDB 限制了數據遷移的速度,導致集群橫向擴展不能及時完成;
以上種種,都在很大程度上限制了 MongoDB 的使用場景范圍。
那么,華為云 MongoDB 社區增強版,是如何從技術上解決這些難題的呢?
增強版 MongoDB,從內核開始改造
華為云 MongoDB 社區增強版,完全基于游戲業務、互聯網應用、大數據等場景研發,采用計算和存儲分離的全新架構,是典型的 Cloud Native (云原生)文檔數據庫。在技術上,更是通過一系列自研黑科技,將整體性價比提升 3 倍。
將 MongoDB 的多副本復制功能卸載到分布式存儲,使得 Secondary 節點也可以為讀寫服務,相同成本下獲得 3 倍的計算能力,進而獲得 300% 的讀寫性能提升。
將 MongoDB 數據庫節點無狀態化,將數據和計算節點分離,去掉數據強歸宿某個計算節點的限制,使得橫向彈性伸縮性能提升 100 倍以上。
打破 MongoDB 只在單個 Shard 副本集內節點間復制 3 副本的限制,分布式存儲采用分片復制能力,磁盤故障后可以由更多磁盤參與數據重構,10 倍縮短數據重構時間。
使用分布式存儲的快照備份技術,替代 MongoDB 的邏輯備份,10 倍提升備份恢復性能。
采用存儲計算分離架構,擴容步長僅 1 個節點,提升擴容效率,降低擴容成本。
打破 MongoDB 只在單個 Shard 副本集內支持 HA 高可用的限制,集群內所有 Shard 的所有節點都互為 HA 備份關系,使得可以支持任意 N-1 個節點故障。
社區版原生集群架構與華為云 MongoDB 社區增強版架構
目前,華為云 MongoDB 社區增強版處于公測期間,但在性能測評中的表現卻相當搶眼。在數據量為1 .6億文檔(160GB)時,2Shard 擴容到 4Shard 時,耗時從原來的 30 小時減少到 2 分鐘,不但擴容時間縮短了上百倍,而且擴容期間性能更加平緩。
華為云數據庫依托于華為30多年的技術實力,結合機器學習算法,已為多次大型海量并發交易與金融級數據安全提供堅實的技術支撐。截至目前,華為云已上線 16 大類超過 120 款云服務,涵蓋制造、醫療、電商、車聯網、SAP、HPC、IoT 等領域60多個解決方案。
此外,華為的業務性質,決定了其在尊重租戶數據主權,堅持中立、客觀立場方面的獨樹一幟。在任何場合,公司也承諾恪守業務邊界,不碰租戶數據,不會利用租戶數據謀取商業價值。
由此可見,華為云數據庫無論在技術底蘊上、生產環境運用上、還是在安全保障方面,均具有得天獨厚的優勢。
2018 華為全聯接大會將于10月份在上海召開,屆時將發布華為AI戰略和全棧全場景的解決方案,并攜合作伙伴帶來更多諸如“秦渲云”這樣AI、云、大數據、5G、IoT、視頻等在各行業的創新與實踐,惠及更多開發者人群,“+智能,見未來”我們拭目以待。
免費試用華為云 MongoDB 社區增強版,請移步官網:
https://activity.huaweicloud.com/dfv_mongo/index.html
更多數據庫暢銷引擎免費試用請點擊:
http://activity.huaweicloud.com/free_test/index.html
分布式 MongoDB 存儲
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。