華為大數據解決方案功能組件介紹

華為大數據解決方案Fusionlnsight架構中包含了各種各樣的功能組件。接下來我們來深入地認識一下華為大數據解決方案功能組件介紹的內容。這部分內容將主要包括Fusionlnsight HD、Fusionlnsight LibrA，Fusionlnsight Miner和Fusionlnsight farmer簡介。

我們知道Apache Hadoop是一個繁榮的開源生態系統，主要特點有Hadoop核心基本組件的開源代碼量巨大，將近兩百萬行。HBase組件在快速的發展中，平均每個月一個發布版各組件。團隊之間、團隊成員是松耦合的，組件相關的特性也沒有有效地整合。

那么如此大量的代碼以及頻繁的產品更新，再加上組件之間的松耦合，勢必會使得開源的Hadoop平臺在管理、使用以及維護中消耗掉大量的人力和物力，這對于企業來講并不是一個合格的產品。而華為的Fusionlnsight HD就是從開源到企業級蛻變后的產品。

為什么這么說呢？因為華為的Fusionlnsight HD大數據平臺采納了開源社區平臺的精華，去除了開源平臺的bug。具體的做法是謹慎地選擇穩定基線版本，認真評估高版本補丁的影響范圍，采用數萬個測試用例，從而來確保企業版本的穩定性，最終形成易用的、安全的、可靠的企業級大數據平臺。其中易用用主要指易開發、易管理運維。安全指的是Fusionlnsight HD集成了統一的安全管理入口，RBAC授權機制以及數據加密安全等安全措施。可靠主要體現在系統無單點故障，并且實現地理容災。可見華為的Fusionlnsight HD平臺既源于開源又高于開源。

那么Fusionlnsight HD解決方案又包含了哪些組件呢？它包含了HDFS、Zookeeper、Hive、HBase等，這些組件通過fFusionlnsight? manager來實現系統管理和安全管理，通過提供標準api的形式給上層應用提供服務。那么接下來我們一起來認識一下各個組件的功能。

HDFS全稱是Hadoop分布式文件系統，是基于谷歌的GFS論文設計開發的，是一個運行在通用硬件上的分布式文件系統。它除了具備其他分布式文件系統相同的特性外，還具有自己獨有的特性，比如高容錯型、高吞吐量以及大文件存儲的特征。那么HDFS適合做什么呢？HDFS適合大文件存儲、流式數據訪問，不適合做什么呢？不適合大量小文件、隨機寫入、低延遲讀取的場景。

而另一個組件大數據數據庫HBase是Fusionlnsight HD大數據平臺中與HDFS協同工作，提供存儲功能的組件。HBase的名字來源于Hadoop Database，即Hadoop的數據庫。Hbase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統。利用HBase技術，可以在廉價的PC server上搭建起大規模、結構化存儲集群。HBase利用Hadoop HDFS作為其文件的存儲系統，利用Hadoop的MapReduce來處理HBase中的海量數據，利用zookeeper作為協同服務。而另一個在大數據中我們經常談到的組件是Hadoop MapReduce，它是基于HDFS的MapReduce編程框架，是一個能夠在大量的普通配置的計算機上處理和生成超大數據集的編程模型的具體實現。

Hadoop MapReduce的框架確保程序以可靠的、容錯的方式進行執行。采用Hadoop MapReduce架構可以使那些沒有并行計算和分布式處理系統開發經驗的程序員，有效地利用分布式系統的豐富資源。

另一個組件實際是Yarn，是hadoop 2.0中的資源管理系統，它是一個通用的資源管理模塊，可為各類應用程序進行資源的管理和調度，Yarn是一個輕量級的彈性計算平臺。除了MapReduce框架，還可以支持其他框架，比如Spark(迭代計算)、Storm(實時處理)，YARN可以對多種框架統一管理，共享集群資源，具有資源的利用率高、運維成本低、數據共享方便等等特點。

Spark是一款獨立的、高速的、開源的分布式計算引擎，提供內存計算模式。它的核心是彈性分布式數據集，RDD(Resilient Distributed Datasets)經過實測，某些情況下其計算速度比Hadoop快十倍以上。Zookeeper是針對谷歌 Chubby的開源實現，使用java編寫，是一個分布式的協調服務，它包含了一個簡單的原語集，分布式應用程序可以給基于它實現同步服務、配置維護和命名服務等，從而減輕分布式應用程序所承擔的協調任務。以上是關于Fusionlnsight平臺中各個功能組件的介紹。接下來我們介紹一下Fusionlnsight LibrA。

Fusionlnsight LibrA是一個并行的數據庫集群，是為新一代數據倉庫所需的大規模數據和復雜查詢功能而設計。該產品采用現代云計算的MPP理念和shared nothing架構，以及高性能、高可用性和動態擴展等特性，為超大規模數據管理提供了一個高性價比的通用平臺。當然其核心競爭力也主要體現在這些方面。而在Fusionlnsight LibrA的架構中，主要包含了這么一些組件，Storage存儲主要用于持久化存儲，數據存儲形式包括了行存儲、列存儲以及混合存儲。data node指的是執行查詢任務分片的邏輯實體，WLM工作負載管理器用于控制系統資源的分配。GTM全局事務控制器，用于全局一致性事物的控制，多版本并發控制mvcc機制。Coordinator連接節點用于接收用戶連接，分解并調度任務分片，然后并行執行。cm集群管理模塊用于管理各功能單元和物理資源，om運維管理模塊用于運維、配置管理、接口及工具。

通過架構圖我們其實可以發現底層有storage和data node構成了基本的存儲部分，通過網絡通道提供各個節點的訪問，而業務用戶則通過coordinator的連接節點來訪問數據存儲，作為一個并行的數據庫集群。LibrA引擎的優勢特性主要包含了第一、標準的sql能力支持，它支持標準的sql92和sql2003規范；第二、集群管理加HA高可用；第三、workload的管理；第四、分布式執行引擎；第五、行列混合存儲；第六、各種工具、安全保障和api接口。好，這些就是關于Fusionlnsight LibrA的六個優勢特征。

接下來我們繼續學習功能組件中Fusionlnsight? Miner組件，Fusionlnsight? Miner稱為是華為大數據的洞察平臺。從這張圖中我們可以看出，miner是處于Hadoop與應用之間的大數據的核心組件，對外提供數據挖掘的業務能力，面對大數劇帶來的挑戰。用戶可以結合自己的領域知識以及Miner從各類原始數據中提取到活躍的、優質的數據，以便為后續構建模型和評估模型提供統一的向量化輸入。而所謂的分析建模是指選取合適的模型算法，通過特征化的訓練集作為輸入進而訓練生成業務模型，并對業務模型進行評價獲得最優方案，同時還提供了模型的部署和調度管理。而數據的可視化主要是指將分析出來的數據做出清晰、完美的呈現，這個就是Fusionlnsight? Miner組件。

那么具體如何進行數據洞察呢？首先可以通過外部數據源來收集數據，比如企業數據、企業數據和互聯網數據邏輯相關的數據。企業數據與第三方數據源、市場連接的數據等等。其次，基于行業的特征模型進行數據輸入。特征工程是數據洞察的得力助手，通過獲取和收集到得力的優質特征，并對特征進行管理，為后續構建和評估模型提供統一的向量化輸入。最后是分析建模。

Miner具有圖形化的模型探索環境，并且具有coding Free的特點，也就是說開發過程封裝成算子，無需編寫任何代碼。而Miner作用于數據的效果，包括低價值密度的數據重獲新生；定時動態保持數據源更新，保持數據的新鮮性，特征可多次復用，提升數據分析團隊的協作效率。

那么Miner帶給客戶的價值有哪些呢？第一，采用Miner挖掘并創造出新的業務價值；第二，實時業務預測，形成新商機；第三、降低行業用戶的使用門檻，使大數據的探索與洞察變得更簡單。比如在金融領域，包括金融資產預測、理財產品、精準推薦、客戶特征刻畫等方面，miner都有其獨特的應用價值。

最后我們來認識一下Fusionlnsight? farmer，Fusionlnsight? farmer是華為的數據服務平臺，為企業業務應用提供了輕量級的應用運行環境。其特點主要包括了跨平臺性、高可靠性、安全性、高性能、彈性伸縮、實時分布式處理能力、透明化訪問hadoop以及統一、高效易用的運維管理能力等等。

那它究竟給客戶帶來了哪些使用價值呢？Fusionlnsight? farmer的客戶價值主要體現在：

第一、快速獲取，保證企業業務的查詢效率為秒級。

第二、易于開發，基于高效、可共享的業務應用開發框架、開發業務邏輯，節省了百分之八十的程序量。

第三、優化成本，采用分布式軟件和通用的X86服務器來代替小型機，使用負載均衡SLB來代替硬件設備。

第四、優質體驗，通過可視化界面提供監控、告警、流程編排、業務拓撲等功能

在Fusionlnsight? farmer中，關鍵技術有提供二次開發的sdk，支持socket、web、MQ等多種協議接入。支持基于標準工作流引擎的業務流程編排服務，提供負載均衡SLB，基于Dubbo框架實現去中心化的負載均衡能力，提供業務邏輯實力級的監控能力，自動識別系統短板，根據SLA規則實現業務邏輯的彈性伸縮。通過業務拓撲展示已部署業務邏輯的全景鳥瞰圖，支持灰度發布升級時可新舊版本共存，控制并快速的解決新版本可能存在的缺陷，實現平滑升級，保證系統的穩定。

總結：通過本次學習華為大數據解決方案功能組件介紹，知道了解FusionInsight HD簡介、FusionInsight LibrA簡介、FusionInsight Miner簡介和FusionInsight Farmer簡介。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。