【云駐共創(chuàng)】華為云數(shù)據(jù)庫之大數(shù)據(jù)入門與應用（下）

前言

本文主要介紹的內容有：

華為大數(shù)據(jù)解決方案功能組件介紹

華為大數(shù)據(jù)應用分享

一、華為大數(shù)據(jù)解決方案功能組件介紹

1.問題背景

我們知道Apache Hadoop是一個繁榮的開源生態(tài)系統(tǒng)，主要特點有Hadoop核心基本組件的開源代碼量巨大，將近兩百萬行。HBase組件在快速的發(fā)展中，平均每個月一個發(fā)布版各組件。團隊之間、團隊成員是松耦合的，組件相關的特性也沒有有效地整合。

2.華為大數(shù)據(jù)解決方案功能組件介紹

1.1 FusionInsight HD簡介

針對上述問題，那么如此大量的代碼以及頻繁的產(chǎn)品更新，再加上組件之間的松耦合，勢必會使得開源的Hadoop平臺在管理、使用以及維護中消耗掉大量的人力和物力，這對于企業(yè)來講并不是一個合格的產(chǎn)品。而華為的Fusionlnsight HD就是從開源到企業(yè)級蛻變后的產(chǎn)品。

因為華為的Fusionlnsight HD大數(shù)據(jù)平臺采納了開源社區(qū)平臺的精華，去除了開源平臺的bug。具體的做法是謹慎地選擇穩(wěn)定基線版本，認真評估高版本補丁的影響范圍，采用數(shù)萬個測試用例，從而來確保企業(yè)版本的穩(wěn)定性。

最終形成易用的、安全的、可靠的企業(yè)級大數(shù)據(jù)平臺。其中易用用主要指易開發(fā)、易管理運維。安全指的是Fusionlnsight HD集成了統(tǒng)一的安全管理入口，RBAC授權機制以及數(shù)據(jù)加密安全等安全措施。可靠主要體現(xiàn)在系統(tǒng)無單點故障，并且實現(xiàn)地理容災。可見華為的Fusionlnsight HD平臺既源于開源又高于開源。

Fusionlnsight HD解決方案又包含了HDFS、Zookeeper、Hive、HBase等，這些組件通過Fusionlnsight manager來實現(xiàn)系統(tǒng)管理和安全管理，通過提供標準api的形式給上層應用提供服務。那么接下來我們一起來認識一下各個組件的功能。

HDFS全稱是Hadoop分布式文件系統(tǒng)，是基于谷歌的GFS論文設計開發(fā)的，是一個運行在通用硬件上的分布式文件系統(tǒng)。

它除了具備其他分布式文件系統(tǒng)相同的特性外，還具有自己獨有的特性，比如高容錯型、高吞吐量以及大文件存儲的特征。

HDFS適合大文件存儲、流式數(shù)據(jù)訪問，不適合做什么呢？不適合大量小文件、隨機寫入、低延遲讀取的場景。

大數(shù)據(jù)數(shù)據(jù)庫HBase是Fusionlnsight HD大數(shù)據(jù)平臺中與HDFS協(xié)同工作，提供存儲功能的組件。HBase的名字來源于Hadoop Database，即Hadoop的數(shù)據(jù)庫。Hbase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)。利用HBase技術，可以在廉價的PC server上搭建起大規(guī)模、結構化存儲集群。

HBase利用Hadoop HDFS作為其文件的存儲系統(tǒng)，利用Hadoop的MapReduce來處理HBase中的海量數(shù)據(jù)，利用zookeeper作為協(xié)同服務。而另一個在大數(shù)據(jù)中我們經(jīng)常談到的組件是Hadoop MapReduce，它是基于HDFS的MapReduce編程框架，是一個能夠在大量的普通配置的計算機上處理和生成超大數(shù)據(jù)集的編程模型的具體實現(xiàn)。

Hadoop MapReduce的框架確保程序以可靠的、容錯的方式進行執(zhí)行。采用Hadoop MapReduce架構可以使那些沒有并行計算和分布式處理系統(tǒng)開發(fā)經(jīng)驗的程序員，有效地利用分布式系統(tǒng)的豐富資源。

Yarn是hadoop 2.0中的資源管理系統(tǒng)，它是一個通用的資源管理模塊，可為各類應用程序進行資源的管理和調度，Yarn是一個輕量級的彈性計算平臺。除了MapReduce框架，還可以支持其他框架，比如Spark(迭代計算)、Storm(實時處理)，YARN可以對多種框架統(tǒng)一管理，共享集群資源，具有資源的利用率高、運維成本低、數(shù)據(jù)共享方便等等特點。

Spark是一款獨立的、高速的、開源的分布式計算引擎，提供內存計算模式。它的核心是彈性分布式數(shù)據(jù)集。

Spark的核心是RDD：RDD(Resilient Distributed Datasets)經(jīng)過實測，某些情況下其計算速度比Hadoop快十倍以上。

Zookeeper是針對谷歌Chubby的開源實現(xiàn)，使用java編寫，是一個分布式的協(xié)調服務，它包含了一個簡單的原語集，分布式應用程序可以給基于它實現(xiàn)同步服務、配置維護和命名服務等，從而減輕分布式應用程序所承擔的協(xié)調任務。

以上是關于Fusionlnsight平臺中各個功能組件的介紹。

1.2 FusionInsight LibrA簡介

Fusionlnsight LibrA是一個并行的數(shù)據(jù)庫集群，是為新一代數(shù)據(jù)倉庫所需的大規(guī)模數(shù)據(jù)和復雜查詢功能而設計。該產(chǎn)品采用現(xiàn)代云計算的MPP理念和shared nothing架構，以及高性能、高可用性和動態(tài)擴展等特性。

為超大規(guī)模數(shù)據(jù)管理提供了一個高性價比的通用平臺。當然其核心競爭力也主要體現(xiàn)在這些方面。

而在Fusionlnsight LibrA的架構中，主要包含了這么一些組件：

Storage存儲主要用于持久化存儲，數(shù)據(jù)存儲形式包括了行存儲、列存儲以及混合存儲。

data node指的是執(zhí)行查詢任務分片的邏輯實體。

WLM工作負載管理器用于控制系統(tǒng)資源的分配。

GTM全局事務控制器，用于全局一致性事物的控制，多版本并發(fā)控制mvcc機制。

Coordinator連接節(jié)點用于接收用戶連接，分解并調度任務分片，然后并行執(zhí)行。

cm集群管理模塊用于管理各功能單元和物理資源，om運維管理模塊用于運維、配置管理、接口及工具。

通過架構圖我們其實可以發(fā)現(xiàn)底層有storage和data node構成了基本的存儲部分，通過網(wǎng)絡通道提供各個節(jié)點的訪問，而業(yè)務用戶則通過coordinator的連接節(jié)點來訪問數(shù)據(jù)存儲，作為一個并行的數(shù)據(jù)庫集群。

LibrA引擎的優(yōu)勢特性主要包含了以下幾點：

標準的sql能力支持，它支持標準的sql92和sql2003規(guī)范。

集群管理加HA高可用。

workload的管理。

分布式執(zhí)行引擎。

行列混合存儲。

各種工具、安全保障和api接口。

1.3 FusionInsight Miner簡介

Fusionlnsight Miner稱為是華為大數(shù)據(jù)的洞察平臺。從這張圖中我們可以看出，miner是處于Hadoop與應用之間的大數(shù)據(jù)的核心組件，對外提供數(shù)據(jù)挖掘的業(yè)務能力。

面對大數(shù)劇帶來的挑戰(zhàn)。用戶可以結合自己的領域知識以及Miner從各類原始數(shù)據(jù)中提取到活躍的、優(yōu)質的數(shù)據(jù)，以便為后續(xù)構建模型和評估模型提供統(tǒng)一的向量化輸入。而所謂的分析建模是指選取合適的模型算法，通過特征化的訓練集作為輸入進而訓練生成業(yè)務模型，并對業(yè)務模型進行評價獲得最優(yōu)方案，同時還提供了模型的部署和調度管理。而數(shù)據(jù)的可視化主要是指將分析出來的數(shù)據(jù)做出清晰、完美的呈現(xiàn)，這個就是Fusionlnsight Miner組件。

數(shù)據(jù)洞察首先可以通過外部數(shù)據(jù)源來收集數(shù)據(jù)，比如企業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)邏輯相關的數(shù)據(jù)。企業(yè)數(shù)據(jù)與第三方數(shù)據(jù)源、市場連接的數(shù)據(jù)等等。其次，基于行業(yè)的特征模型進行數(shù)據(jù)輸入。特征工程是數(shù)據(jù)洞察的得力助手，通過獲取和收集到得力的優(yōu)質特征，并對特征進行管理，為后續(xù)構建和評估模型提供統(tǒng)一的向量化輸入。最后是分析建模。

Miner具有圖形化的模型探索環(huán)境，并且具有coding Free的特點，也就是說開發(fā)過程封裝成算子，無需編寫任何代碼。而Miner作用于數(shù)據(jù)的效果，包括低價值密度的數(shù)據(jù)重獲新生；定時動態(tài)保持數(shù)據(jù)源更新，保持數(shù)據(jù)的新鮮性，特征可多次復用，提升數(shù)據(jù)分析團隊的協(xié)作效率。

Miner帶給客戶的價值主要有：

采用Miner挖掘并創(chuàng)造出新的業(yè)務價值。

實時業(yè)務預測，形成新商機。

降低行業(yè)用戶的使用門檻，使大數(shù)據(jù)的探索與洞察變得更簡單。

比如在金融領域，包括金融資產(chǎn)預測、理財產(chǎn)品、精準推薦、客戶特征刻畫等方面，miner都有其獨特的應用價值。

1.4 FusionInsight Farmer簡介

Fusionlnsight farmer是華為的數(shù)據(jù)服務平臺，為企業(yè)業(yè)務應用提供了輕量級的應用運行環(huán)境。其特點主要包括了跨平臺性、高可靠性、安全性、高性能、彈性伸縮、實時分布式處理能力、透明化訪問hadoop以及統(tǒng)一、高效易用的運維管理能力等等。

Fusionlnsight farmer的客戶價值主要體現(xiàn)在：

快速獲取，保證企業(yè)業(yè)務的查詢效率為秒級。

易于開發(fā)，基于高效、可共享的業(yè)務應用開發(fā)框架、開發(fā)業(yè)務邏輯，節(jié)省了百分之八十的程序量。

優(yōu)化成本，采用分布式軟件和通用的X86服務器來代替小型機，使用負載均衡SLB來代替硬件設備。

優(yōu)質體驗，通過可視化界面提供監(jiān)控、告警、流程編排、業(yè)務拓撲等功能

在Fusionlnsight farmer中，關鍵技術有提供二次開發(fā)的sdk，支持socket、web、MQ等多種協(xié)議接入。支持基于標準工作流引擎的業(yè)務流程編排服務，提供負載均衡SLB，基于Dubbo框架實現(xiàn)去中心化的負載均衡能力，提供業(yè)務邏輯實力級的監(jiān)控能力，自動識別系統(tǒng)短板，根據(jù)SLA規(guī)則實現(xiàn)業(yè)務邏輯的彈性伸縮。通過業(yè)務拓撲展示已部署業(yè)務邏輯的全景鳥瞰圖，支持灰度發(fā)布升級時可新舊版本共存，控制并快速的解決新版本可能存在的缺陷，實現(xiàn)平滑升級，保證系統(tǒng)的穩(wěn)定。

二、華為大數(shù)據(jù)應用分享

1.移動運營商應用分享

從電信的發(fā)展歷程來看，運營商數(shù)字化轉型是價值鏈從封閉、壟斷到開放平等過程中的一次被迫重構。數(shù)字經(jīng)濟到來以后，運營商必須從商業(yè)架構、企業(yè)架構和網(wǎng)絡架構進行徹底的重構，重新地定位自己，看清自己的核心能力，以開放、合作的心態(tài)與OTT共建價值鏈，才能在這次浪潮中獲得成功。

1.1 數(shù)字化的轉型模型的四個方向

華為對世界范圍內運營商總結后提出了數(shù)字化的轉型模型主要有：擴展客戶群領域、客戶資產(chǎn)價值挖掘、客戶資產(chǎn)價值開發(fā)、運營系統(tǒng)和流程變革。

在擴展客戶群領域方面：從個人、家庭向企業(yè)與物聯(lián)網(wǎng)延伸。

在客戶資產(chǎn)價值挖掘方面：從傳統(tǒng)的電信服務到客戶價值驅動的多樣化數(shù)字業(yè)務，提升了業(yè)務價值。

在客戶資產(chǎn)價值開放方面：開放構建生態(tài)環(huán)境，通過開放、共享來獲取客戶資產(chǎn)增值收益。

在運營系統(tǒng)和流程變革方面：打造以客戶體驗為中心的數(shù)字化運營系統(tǒng)和企業(yè)架構，從而來提升運營效率。

1.2 數(shù)字化的轉型模型的四個層次

華為大數(shù)據(jù)解決方案是基于對運營商、用戶和網(wǎng)絡的理解，綜合運營商各域數(shù)據(jù)進行大數(shù)據(jù)建模，從而實現(xiàn)用戶保留、業(yè)務提升、網(wǎng)絡效率提升和對外價值變現(xiàn)的最終商業(yè)成功。

而實際上華為為運營商行業(yè)提供的解決方案主要分為四個層次：在level 1基礎設施層適配BSS和OSS數(shù)據(jù)，用戶行為數(shù)據(jù)以及外部數(shù)據(jù)等電信領域數(shù)據(jù)。在level 2數(shù)據(jù)處理層，采用統(tǒng)一的大數(shù)據(jù)平臺，結合level 3服務層，共同組成了FusionInsight平臺，向下融合跨域數(shù)據(jù)，向上支持不同的應用；最后的level 4應用層，主要是電信領域商業(yè)驅動的應用。包括了智能運營、營銷、智能關懷、KPI、NPM、客戶體驗管理、MIS、Dass等一些應用。

1.3 數(shù)字化的轉型模型的案例

接下來我們來看一個具體的案例，湖南移動原經(jīng)分架構不能滿足業(yè)務發(fā)展要求，計劃采用大數(shù)據(jù)技術建設新的經(jīng)分系統(tǒng)。而圖中顯示的就是原經(jīng)分系統(tǒng)的架構。我們可以看出原有的經(jīng)分系統(tǒng)有著非常明顯的局限性，主要體現(xiàn)在以下四個方面：

原架構不能匹配業(yè)務發(fā)展，移動業(yè)務已經(jīng)進入“大數(shù)據(jù)、微營銷時代”，而現(xiàn)有的系統(tǒng)還是以傳統(tǒng)架構來建設的，因此難以支撐。

需求響應效率低，數(shù)據(jù)應用的耦合度高，而模型設計靈活性不足。因此從需求提出到最終實現(xiàn)流程長、響應慢。

缺少融合業(yè)務的支撐能力。由于缺少對O域、M域數(shù)據(jù)的整合與理解，而分析支撐又局限于B域范圍，因此，難以支撐移動互聯(lián)網(wǎng)流量經(jīng)營需要的跨域、端到端的分析需求。

數(shù)據(jù)管理和開放能力不足。除經(jīng)分系統(tǒng)以外，按照應用模式獨立建設的大量應用子系統(tǒng)缺少統(tǒng)一的管理和開放能力，造成創(chuàng)新應用引入困難。

而華為的大數(shù)據(jù)解決方案憑借技術評比第一、綜合評比第一的優(yōu)勢，獲得了客戶的信賴，從而成功地為湖南移動構建了新的經(jīng)分系統(tǒng)。華為大數(shù)據(jù)解決方案主要采用了Hadoop結合LibrA。混搭架構，實現(xiàn)對B\M\O域數(shù)據(jù)的全面接入，融合處理并進行統(tǒng)一的建模。同時引入爬蟲、流計算等技術，實現(xiàn)對互聯(lián)網(wǎng)數(shù)據(jù)的處理和實時的業(yè)務支撐。

而通過本項目的建設，幫助湖南移動實現(xiàn)了如下六個方面的改進和提升：

提升平臺能力

提升數(shù)據(jù)資產(chǎn)的管理能力

提升日常的工作效率

提升業(yè)務能力

提升開放能力

降低后續(xù)的建設成本

那么接下來我們將針對其中的三個方面做一個具體的分析。

首先是平臺能力的提升，非結構化數(shù)據(jù)的處理能力方面，采用爬蟲技術實現(xiàn)對互聯(lián)網(wǎng)非結構化數(shù)據(jù)的獲取和處理，利用Hadoop的分布式擴展優(yōu)勢。網(wǎng)頁爬取任務均衡的分攤到各個節(jié)點上，并啟動多線程執(zhí)行，極大地提升了網(wǎng)頁的爬取效率。

云化ETL提升海量數(shù)據(jù)的處理能力方面，主要體現(xiàn)在高性能和高擴展性上。比如相同處理能力的硬件平臺，大部分場景的性能提升了百分之五十以上，整個集群的處理能力可以動態(tài)伸縮，程序任務可以完全的自定義擴展，靈活性強。

分鐘級實時數(shù)據(jù)處理分析能力方面，流數(shù)據(jù)處理實現(xiàn)持續(xù)的數(shù)據(jù)載入和數(shù)據(jù)處理，縮短了數(shù)據(jù)延遲，支撐實時營銷。事件處理中心，提高了事件配置、事件、處理、事件的服務能力。

通過Hadoop集群和LibrA數(shù)據(jù)引擎，提升分布式計算和存儲能力。

從整體上來看，與原系統(tǒng)相比，新的經(jīng)分系統(tǒng)實現(xiàn)了對數(shù)據(jù)的分布式計算、存儲，提升了對非結構化數(shù)據(jù)的支持，增強了對海量數(shù)據(jù)的處理能力，實現(xiàn)了實時的數(shù)據(jù)分析處理，接入數(shù)據(jù)規(guī)模每日可達7個T，數(shù)據(jù)的存儲量超過3個PB；平臺支持2000個經(jīng)分用戶的日常訪問需求，以及20000個一線用戶的營銷需求。

其次是日常分析效率的提升，運營商數(shù)據(jù)資產(chǎn)全視圖提供的自助分析服務，實現(xiàn)市場部門用戶的提數(shù)時長從周到小時的轉變。例如88元4G套餐語音資源使用率的報表原本需要兩周時間獲取，而在新的平臺下可以實現(xiàn)自助報表1小時即席查詢2小時的時間指標。

業(yè)務能力的提升支撐大數(shù)據(jù)、超細分、微營銷、精服務的落地。比如，建立客戶生命周期的模型、客戶生物鐘模型等數(shù)據(jù)模型，以用戶標簽為基礎對客戶進行細分，建立客戶第一時刻、異動時刻、重要時刻、免打擾時刻等標簽，分別進行精準的營銷，比如以客戶群方式營銷、以一刻一時一策略的方式進行營銷等。

2.金融機構應用分享

2.1 數(shù)字化的轉型模型的四個方向

傳統(tǒng)金融機構的特征是通過標準化和產(chǎn)業(yè)化提供服務，關注過程和步驟，被動接收信息，并且信息的來源單一，通過客戶經(jīng)理聯(lián)系客戶，固定渠道單一交互，可以滿足世紀之初的客戶需求。

那么隨著數(shù)字化信息時代的發(fā)展，客戶需求逐步的改變，比如客戶需要隨時隨地的獲取服務、尋找有意義的體驗以及互動參與內容、產(chǎn)品和體驗的創(chuàng)建等等。那么金融機構就需要朝著移動化、個性化、社交化、實時化的方向進行發(fā)展。

為了朝著移動化、個性化、社交化和實施化的方向發(fā)展，金融數(shù)據(jù)架構就要有所改變，由原本單一的核心交易平臺轉變?yōu)閮蓚€數(shù)據(jù)平臺，即在原有數(shù)據(jù)平臺的基礎上加入大數(shù)據(jù)平臺，通過大數(shù)據(jù)平臺提供具有實時在線性、業(yè)務持續(xù)性和跨多元數(shù)據(jù)的業(yè)務服務，比如統(tǒng)一的歷史明細、在線征信等。

2.2 數(shù)字化的轉型模型中金融行業(yè)的特殊要求

金融行業(yè)對大數(shù)據(jù)平臺的要求主要體現(xiàn)在：

企業(yè)級的質量標準要求：比如金融等保、可靠、易用、支持與現(xiàn)有系統(tǒng)的對接。

開放性要求：多分析引擎、統(tǒng)一管理，滿足多樣化的數(shù)據(jù)分析場景。

挖掘能力要求：支持機器學習、深度學習等新的數(shù)據(jù)挖掘能力，實現(xiàn)更精準的洞察。

因此全新的金融數(shù)據(jù)平臺架構如圖所示，通過構建統(tǒng)一的離線和實時的計算平臺，融合跨域數(shù)據(jù)，從而來支撐不同的業(yè)務應用。

那么華為金融行業(yè)大數(shù)據(jù)業(yè)務主要包括了客戶管理、營銷管理、風險管理、運營管理以及信息創(chuàng)新五大領域，涵蓋客戶三百六十度畫像、電話銀行、信用卡反欺詐、產(chǎn)品定位、歷史數(shù)據(jù)管理等28個業(yè)務模塊。

銀行業(yè)務競爭越來越激烈，急需以金融數(shù)據(jù)分析和挖掘為基礎進行產(chǎn)品預測、創(chuàng)新和風險評估，來提升自身的競爭力。

而金融數(shù)據(jù)量和種類的不斷增加，傳統(tǒng)數(shù)據(jù)倉庫也只適合結構化數(shù)據(jù)處理，同時擴展性差、擴容成本高，已經(jīng)無法滿足大數(shù)據(jù)時代的要求。

招商銀行選擇了華為的大數(shù)據(jù)解決方案，建立了高可靠、高安全、易管理、易開發(fā)的企業(yè)級大數(shù)據(jù)平臺。

華為大數(shù)據(jù)解決方案是第一家支持金融等保，第一家支持1000公里以上異地融災的海量數(shù)據(jù)分析和挖掘的平臺，能實現(xiàn)與企業(yè)應用的無縫銜接。華為擁有強大的內核及開發(fā)工程團隊和咨詢、定制化的服務能力。

而華為的大數(shù)據(jù)解決方案平臺也為招商銀行提供了統(tǒng)一的全量的數(shù)據(jù)分析和挖掘功能，提供了豐富的創(chuàng)新業(yè)務，比如在線明細、精準營銷、實時征信等。除此之外，在小微貸獲客預測方面，比傳統(tǒng)方式提升了40倍的轉化率，金融資產(chǎn)的預測誤差率降低了一倍。而信用卡征信也有原來的15天縮減至2-5秒，同時支持線性擴容，并且擴容成本低。

2.3 數(shù)字化的轉型模型的案例

那么接下來我們來看一下具體的應用場景，比如在線的歷史明細查詢方面，華為FusionInsight數(shù)據(jù)服務結合FusionInsight HD基礎數(shù)據(jù)平臺的解決方案，使客戶只需要專注歷史明細查詢業(yè)務的編寫即可。

數(shù)據(jù)服務平臺支持多業(yè)務系統(tǒng)并發(fā)訪問，從而實現(xiàn)實時的歷史明細的查詢能力。并且數(shù)據(jù)服務平臺也支持socket和web的業(yè)務請求接入和分發(fā)，與招行的業(yè)務系統(tǒng)實現(xiàn)無縫銜接。

此外，創(chuàng)新的CTBase方案獨有的表聚簇和多級索引，支持HBase多表的關聯(lián)查詢能力，而HBase同時也支持sql、java api的編程接口，來適應客戶的編程習慣。

在客戶行為分析方面：華為的FusionInsight Miner數(shù)據(jù)洞察結合FusionInsight HD基礎數(shù)據(jù)平臺的解決方案，使客戶只需關注客戶行為分析業(yè)務的編寫。

而FusionInsight Miner基于大數(shù)據(jù)進行全量的建模分析，可以挖掘出14000維客戶特征，實現(xiàn)多維客戶行為的并發(fā)分析。同時FusionInsight Miner采用機器自動學習機制，大大的提高了分析的準確度，最終客戶行為分析結果存儲在HBase中，供業(yè)務的查詢使用。

再比如在實時征信方面的應用，華為的FusionInsight farmer數(shù)據(jù)消費平臺，結合FusionInsight HD基礎數(shù)據(jù)平臺的解決方案，也使客戶只需關注實時征信業(yè)務邏輯的編寫即可。

其中FusionInsight farmer支持多業(yè)務系統(tǒng)的并發(fā)訪問，實現(xiàn)實時征信訪問能力。FusionInsight farmer同時也支持tcp/http的請求接入和分發(fā)，提供負載均衡功能，實現(xiàn)于招行業(yè)務系統(tǒng)的無縫銜接。

而前面我們談到創(chuàng)新的CTBase方案，其獨有的表聚簇和多級索引，支持HBase多表關聯(lián)查詢的能力，并且HBase也支持java api的編程接口，從而來適應客戶的編程習慣。

3.政府機構應用分享

現(xiàn)在的政府機構依然以傳統(tǒng)的架構為主，政府機構面臨著政、企與居民的雙向溝通、移動政府的安全與訪問控制等多方面的需求。與金融機構類似，傳統(tǒng)架構越來越不能滿足政府機構服務人民群眾的需求，這也迫使政府機構需要走上大數(shù)據(jù)和云計算的轉型之路。其實我們可以嘗試想象，未來經(jīng)過大數(shù)據(jù)和云計算轉型之后的政府與民眾能實現(xiàn)360度的全方位溝通，可以基于人工智能提供個性化的服務、預測分析未知風險等。實現(xiàn)更優(yōu)、更快的轉變。

其中公安政府的大數(shù)據(jù)業(yè)務模型主要包括情報分析、案件偵破、交警業(yè)務、警員辦公四大領域，而大數(shù)據(jù)的價值點包括了同行分析、案件統(tǒng)計、套牌車分析、電子卷宗檢索等29個方面。華為大數(shù)據(jù)作為一套經(jīng)過多方檢驗與實踐的成熟的解決方案，能夠完美地覆蓋公安政府大數(shù)據(jù)業(yè)務。

總結

本文主要介紹的內容有：華為大數(shù)據(jù)解決方案功能組件介紹、華為大數(shù)據(jù)應用分享。

大數(shù)據(jù)作用主要有以下三點：

對大數(shù)據(jù)的處理分析正成為新一代信息技術融合應用的結點。移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡、數(shù)字家庭、電子商務等是新一代信息技術的應用形態(tài)，這些應用不斷產(chǎn)生大數(shù)據(jù)。云計算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結果反饋到上述應用中，將創(chuàng)造出巨大的經(jīng)濟和社會價值。

大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎。面向大數(shù)據(jù)市場的新技術、新產(chǎn)品、新服務、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設備領域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務器、內存計算等市場。在軟件與服務領域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術和軟件產(chǎn)品的發(fā)展。

大數(shù)據(jù)利用將成為提高核心競爭力的關鍵因素。各行各業(yè)的決策正在從“業(yè)務驅動” 轉變“數(shù)據(jù)驅動”。

綜上所述，社會發(fā)展離開不了大數(shù)據(jù)。人們的出行越來越離不開大數(shù)據(jù)的協(xié)助，運用電子地圖，初來乍到的游客可以在生疏的城市自由行走；繁忙一天的上班族可以查詢最快回家的交通方法；出租車司機經(jīng)過語音導航，知曉前方路程狀況，防止堵車或超速違章。這些都是大數(shù)據(jù)在生活中的體現(xiàn)。

本文整理自華為云社區(qū)【內容共創(chuàng)】活動第15期。

查看活動詳情：https://bbs.huaweicloud.com/blogs/345822

相關任務詳情：任務15.華為云數(shù)據(jù)庫入門與應用

云數(shù)據(jù)庫 MySQL 上云必讀 Hadoop 大數(shù)據(jù) 數(shù)據(jù)庫

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。