【云駐共創(chuàng)】華為大數(shù)據(jù)發(fā)展趨勢(shì)與鯤鵬大數(shù)據(jù)(很詳細(xì))

前言

本章為大數(shù)據(jù)的趨勢(shì)課程，主要分為兩個(gè)主要部分。

第一部分為大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)，主要講述什么是大數(shù)據(jù)時(shí)代，以及身處大數(shù)據(jù)時(shí)代我們面臨的機(jī)遇與挑戰(zhàn)，以便培養(yǎng)大數(shù)據(jù)思維。

而為了響應(yīng)時(shí)代的號(hào)召，助力合作伙伴更快更好地完成智能化轉(zhuǎn)型，華為提出“鯤鵬生態(tài)”戰(zhàn)略，不斷提升算力，提高數(shù)據(jù)治理能力。因此，第二部分主要介紹華為鯤鵬的解決方案，簡(jiǎn)述基于鯤鵬芯片的鯤鵬服務(wù)器、華為云鯤鵬云服務(wù)，同時(shí)簡(jiǎn)單介紹華為HCS 8.0中有關(guān)大數(shù)據(jù)和數(shù)據(jù)分析處理的常用公有云服務(wù)，并介紹華為云MRS服務(wù)的優(yōu)勢(shì)及應(yīng)用場(chǎng)景。

目標(biāo)

掌握什么是大數(shù)據(jù)，大數(shù)據(jù)的4v特性，以及大數(shù)據(jù)的時(shí)代需求和挑戰(zhàn)

掌握大數(shù)據(jù)技術(shù)趨勢(shì)及應(yīng)用

了解華為鯤鵬解決方案

了解華為大數(shù)據(jù)解決方案

一、大數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī)遇

1.1 大數(shù)據(jù)時(shí)代

十九世紀(jì)六十年代，歐美和日本率先完成了資產(chǎn)階級(jí)革命，他們利用電力對(duì)工業(yè)進(jìn)行了升級(jí)，將人類(lèi)帶入電氣時(shí)代。他們利用電力對(duì)工業(yè)進(jìn)行改進(jìn)，將人類(lèi)帶入電氣時(shí)代。在二十世紀(jì)四十年代，計(jì)算機(jī)、通信、原子能以及生物工程獲得廣泛的應(yīng)用。其中美國(guó)走在世界的前列，人類(lèi)進(jìn)入了信息時(shí)代，美國(guó)因此也稱(chēng)霸全球。

在當(dāng)前云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能獲得了廣泛的應(yīng)用，并且這些技術(shù)方興未艾，目前被稱(chēng)為了智能時(shí)代，同時(shí)也稱(chēng)為數(shù)據(jù)時(shí)代。

在大數(shù)據(jù)時(shí)代到來(lái)的時(shí)候，世界上的主要經(jīng)濟(jì)體他們都結(jié)合自己的國(guó)家提出來(lái)了本國(guó)的大數(shù)據(jù)戰(zhàn)略。目前數(shù)據(jù)的開(kāi)放、共享以及應(yīng)用都成為這些國(guó)家的國(guó)家戰(zhàn)略。作為中國(guó)一個(gè)發(fā)展中的國(guó)家，在大數(shù)據(jù)時(shí)代，我們也抓住了大數(shù)據(jù)的發(fā)展的機(jī)遇。

中國(guó)實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略

實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略加快建設(shè)數(shù)字中國(guó):

要推動(dòng)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展;

要構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì);

要運(yùn)用大數(shù)據(jù)提升國(guó)家治理現(xiàn)代水平;

要運(yùn)用大數(shù)據(jù)促進(jìn)保障和改善民生;

要切實(shí)保障國(guó)家數(shù)據(jù)安全。

2013年大數(shù)據(jù)第一次詢(xún)問(wèn)了我們政府的工作報(bào)告，并且-主席在很多場(chǎng)合都提出國(guó)家的大數(shù)據(jù)戰(zhàn)略，以及加快建設(shè)數(shù)字中國(guó)的號(hào)召。

作為企業(yè)，在大數(shù)據(jù)時(shí)代我們必須要來(lái)轉(zhuǎn)變自己的思維。企業(yè)是數(shù)據(jù)的生產(chǎn)者，我們不能夠僅僅只做了數(shù)據(jù)的管理者，我們更加要利用的數(shù)據(jù)進(jìn)行創(chuàng)新，去了創(chuàng)造商業(yè)價(jià)值。我們利用數(shù)據(jù)可以去驅(qū)動(dòng)體驗(yàn)。比如說(shuō)我們利用數(shù)據(jù)去對(duì)用戶(hù)的瀏覽網(wǎng)頁(yè)的行為進(jìn)行分析，或者是對(duì)用戶(hù)的購(gòu)買(mǎi)商品的情況來(lái)進(jìn)行分析，然后給用戶(hù)推薦他所喜歡的商品。我們也可以用大數(shù)據(jù)進(jìn)行驅(qū)動(dòng)決策。比如說(shuō)我們利用五十年的油田歷史數(shù)據(jù)來(lái)進(jìn)行綜合分析來(lái)決定了油田的開(kāi)采率。同時(shí)我們也可以利用大數(shù)據(jù)對(duì)我們近一年或者過(guò)往幾年的數(shù)據(jù)、產(chǎn)品銷(xiāo)售狀況來(lái)進(jìn)行分析，制定我們下一個(gè)年度的產(chǎn)品的生產(chǎn)計(jì)劃。我們也可以利用數(shù)據(jù)驅(qū)動(dòng)流程。每天我們有大量的數(shù)據(jù)發(fā)生碰撞，我們要去辦理大量的事務(wù)，那么哪些事務(wù)是關(guān)鍵事務(wù)，哪些事務(wù)是有效的，我們呢可以用大數(shù)據(jù)來(lái)進(jìn)行優(yōu)化，提升我們的效率。

在大數(shù)據(jù)時(shí)代，那么數(shù)據(jù)就是生意，我們認(rèn)為數(shù)據(jù)跟客戶(hù)具有等同的價(jià)值，當(dāng)你獲得了一個(gè)客戶(hù)的數(shù)據(jù)信息，那么你就掌握了這個(gè)用戶(hù)的一些特征，能夠去做精準(zhǔn)的營(yíng)銷(xiāo)，那數(shù)據(jù)即商機(jī)。比如說(shuō)我們有一些數(shù)據(jù)，比如說(shuō)像交易數(shù)據(jù)，還有一些就是消費(fèi)數(shù)據(jù)，我們利用這些數(shù)據(jù)可以去獲得某一些商業(yè)的信息。最典型的是我們根據(jù)某個(gè)區(qū)域的人流信息來(lái)推算這個(gè)區(qū)域的繁華程度，決定是否在這個(gè)區(qū)域去建立商業(yè)。還有我們可以將數(shù)據(jù)作為了一種平臺(tái)，用這種數(shù)據(jù)平臺(tái)為公眾提供了數(shù)據(jù)服務(wù)而獲取了商業(yè)利潤(rùn)。在利用數(shù)據(jù)的過(guò)程中，我們讓數(shù)據(jù)一直不斷地流動(dòng)，讓數(shù)據(jù)成為了我們的流動(dòng)的資產(chǎn)。

大數(shù)據(jù)的定義關(guān)于大數(shù)據(jù)的定義沒(méi)有一個(gè)非常權(quán)威以及準(zhǔn)確的定位。那維基百科有一個(gè)定義是，大數(shù)據(jù)是指利用常用的軟件工具捕獲、管理和處理數(shù)據(jù)所耗的時(shí)間超過(guò)可容忍的時(shí)間的數(shù)據(jù)集。也就是說(shuō)我們利用現(xiàn)在傳統(tǒng)的計(jì)算機(jī)去對(duì)大數(shù)據(jù)進(jìn)行處理的時(shí)候，我們的時(shí)間可能非常之長(zhǎng)，超過(guò)我們所能夠容忍的時(shí)間。那么這么大的體量的數(shù)據(jù)我們就稱(chēng)為大數(shù)據(jù)。那很多機(jī)構(gòu)以及研究所都給出了大數(shù)據(jù)的定義，他們通常是用大數(shù)據(jù)的特征對(duì)上數(shù)據(jù)進(jìn)行定義。

通常情況下，我們對(duì)大數(shù)據(jù)進(jìn)行描述呢主要包括了四個(gè)方面的特征，

第一個(gè)方面是體量巨大，這個(gè)就是說(shuō)數(shù)據(jù)具有海量性。

第二個(gè)是處理的速度。這個(gè)就是說(shuō)在大數(shù)據(jù)時(shí)代，我們擁有非常強(qiáng)的算力，能夠呢快速的對(duì)數(shù)據(jù)進(jìn)行分析、處理。

第三個(gè)是數(shù)據(jù)的類(lèi)型繁多，在大數(shù)據(jù)時(shí)代，我們要處理的數(shù)據(jù)跟我們傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)里面所存儲(chǔ)的數(shù)據(jù)它有顯著的區(qū)別。我們不光要對(duì)結(jié)構(gòu)化的數(shù)據(jù)呢進(jìn)行處理，同時(shí)我們還要對(duì)非結(jié)構(gòu)化以及半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行處理，因此它的類(lèi)型是繁多的。

第四個(gè)方面是價(jià)值密度低。我們通常說(shuō)對(duì)大數(shù)據(jù)我們要進(jìn)行的數(shù)據(jù)挖掘去了挖取里面的一些知識(shí)以及信息。但是在大數(shù)據(jù)時(shí)代，海量的數(shù)據(jù)中，實(shí)際上它的價(jià)值密度是較低的，即使有大量的數(shù)據(jù)可能我們挖掘出來(lái)的信息，有用的信息也是有限的。另外還有其他一些就是著名的公司對(duì)大數(shù)據(jù)的定義進(jìn)行了擴(kuò)展，有些給出五位定義。

接下來(lái)我們看一看大數(shù)據(jù)處理的與傳統(tǒng)數(shù)據(jù)處理的區(qū)別。從傳統(tǒng)的數(shù)據(jù)庫(kù)呢到大數(shù)據(jù)庫(kù)，它存儲(chǔ)的數(shù)據(jù)的容量是不斷增加的。我們?cè)诖髷?shù)據(jù)時(shí)代進(jìn)行數(shù)據(jù)挖掘，就好比是在海里面去捕魚(yú)，那傳統(tǒng)的數(shù)據(jù)挖掘它就是在池塘捕魚(yú)。我們具體用上面一張表對(duì)他們的區(qū)別進(jìn)行了分析。

首先從數(shù)據(jù)的存儲(chǔ)規(guī)模上來(lái)說(shuō)，大數(shù)據(jù)處理它所要存儲(chǔ)的數(shù)據(jù)規(guī)模是大，比如說(shuō)GB、TB到PB。對(duì)傳統(tǒng)的數(shù)據(jù)庫(kù)處理是小MB的數(shù)據(jù)。再有是數(shù)據(jù)類(lèi)型，大數(shù)據(jù)時(shí)代所處理的數(shù)據(jù)類(lèi)型結(jié)構(gòu)繁多，這個(gè)大數(shù)據(jù)的數(shù)據(jù)類(lèi)型的繁多是大數(shù)據(jù)的一大特征。那傳統(tǒng)的數(shù)據(jù)處理，他所要處理的數(shù)據(jù)結(jié)果比較單一，主要是結(jié)構(gòu)化數(shù)據(jù)。

再有的是模式和數(shù)據(jù)。對(duì)我們傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，它是先要定義好模式，然后再往里面逐漸的去增加數(shù)據(jù)。但對(duì)于我們大數(shù)據(jù)、數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)，我們通常情況下沒(méi)有固定的模式，我們隨著數(shù)據(jù)的增加會(huì)產(chǎn)生模式。再有是處理的對(duì)象，大數(shù)據(jù)處理它處理的對(duì)象是大海中的魚(yú)。我們通常利用向數(shù)據(jù)挖掘或者機(jī)器會(huì)學(xué)習(xí)的方法，去對(duì)一些未發(fā)現(xiàn)的魚(yú)進(jìn)行了處理，也就是說(shuō)要發(fā)現(xiàn)一些未發(fā)現(xiàn)的魚(yú)。

而傳統(tǒng)的數(shù)據(jù)處理它只能夠局限于池塘中的魚(yú)，那么發(fā)現(xiàn)新知識(shí)、新規(guī)律的可能性比較小。還有就是處理工具，在大數(shù)據(jù)時(shí)代、在大數(shù)據(jù)處理的過(guò)程中，我們有很多應(yīng)用場(chǎng)景，那沒(méi)有一種大數(shù)據(jù)的產(chǎn)品或者是工具，它能夠適合于了所有的應(yīng)用場(chǎng)景。對(duì)于傳統(tǒng)的數(shù)據(jù)分析，我們可以做到一刀切，就是我們利用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)就能夠進(jìn)行的很好的分析。

目前大數(shù)據(jù)已經(jīng)在蓬勃的發(fā)展，大家都知道。在我們it領(lǐng)域有一個(gè)摩爾定律，這個(gè)是指的是關(guān)于cpu的它的性能的定律，也就是說(shuō)每十八個(gè)月那cpu的它的那個(gè)計(jì)算能力要翻一番。這個(gè)摩爾定律在2015年開(kāi)始了逐漸失效，但是對(duì)于大數(shù)據(jù)來(lái)說(shuō)，它也有大數(shù)據(jù)領(lǐng)域的摩爾定律，也就是說(shuō)它每年增長(zhǎng)的數(shù)據(jù)大概就是可以增加一倍。在我們這個(gè)時(shí)代，物聯(lián)網(wǎng)飛速的發(fā)展，有大量的傳感器設(shè)備，而這些傳感器設(shè)備它每時(shí)每刻都在產(chǎn)生的數(shù)據(jù)，因此我們的時(shí)代數(shù)據(jù)是海量數(shù)據(jù)，數(shù)據(jù)是不斷產(chǎn)生的。

1.2 大數(shù)據(jù)的應(yīng)用領(lǐng)域

在當(dāng)前這個(gè)時(shí)代，社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)的飛速的發(fā)展，他們擴(kuò)展的大數(shù)據(jù)的采集渠道，另外大數(shù)據(jù)的分布式存儲(chǔ)以及分布式處理技術(shù)夯實(shí)了大數(shù)據(jù)的技術(shù)基礎(chǔ)。另外目前深度神經(jīng)網(wǎng)絡(luò)如火如荼，并且深度神經(jīng)網(wǎng)絡(luò)有大量的落地案例，它擴(kuò)展了大數(shù)據(jù)的應(yīng)用，可以說(shuō)目前大數(shù)據(jù)在引領(lǐng)著未來(lái)，并且未來(lái)是可期的。

下面我們看看大數(shù)據(jù)在哪些方面有具體的應(yīng)用。目前大數(shù)據(jù)在電信、金融以及政府獲得了廣泛的應(yīng)用，大家可以看一看了上圖。這是因?yàn)殡娦拧⒔鹑谝约罢麄兺ㄟ^(guò)了長(zhǎng)期的積累，具有了大量的數(shù)據(jù)，而這些海量的數(shù)據(jù)通過(guò)傳統(tǒng)的方法是沒(méi)有辦法來(lái)進(jìn)行分析，也沒(méi)有辦法進(jìn)行處理的。因此他們迫切地需要采用大數(shù)據(jù)的存儲(chǔ)以及處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行了分析，獲得有用的價(jià)值。

從下面上圖我們可以看出來(lái)，大數(shù)據(jù)在某些領(lǐng)域它的應(yīng)用的頻度。比如說(shuō)我們大數(shù)據(jù)對(duì)于像中國(guó)電信這樣的企業(yè)來(lái)說(shuō)，它的營(yíng)銷(xiāo)分析、客戶(hù)分析這個(gè)是占主要支配地位了，其實(shí)是運(yùn)營(yíng)管理，像供應(yīng)鏈管理。

上面是大數(shù)據(jù)的市場(chǎng)分析，我們預(yù)測(cè)在2020年底，大數(shù)據(jù)行業(yè)的這個(gè)整體的市場(chǎng)規(guī)模將超過(guò)了一萬(wàn)億。另外大數(shù)據(jù)行業(yè)細(xì)分，大數(shù)據(jù)在行業(yè)解決方案以及大數(shù)據(jù)應(yīng)用方面占有了比較大的比重。下面結(jié)合一些具體的應(yīng)用領(lǐng)域，我們給大家解釋了大數(shù)據(jù)的應(yīng)用。

首先是在金融領(lǐng)域，在金融領(lǐng)域有較多的應(yīng)用案例，比如說(shuō)花旗銀行，他們?cè)缒昀昧薎BM的沃森機(jī)器人為用戶(hù)推薦理財(cái)產(chǎn)品，并且獲得了很好的收益。另外還有一些其他的銀行，他們利用大數(shù)據(jù)去分析就是克服了貸款的風(fēng)險(xiǎn)，也就是風(fēng)控的分析，他們能夠要阻止了這個(gè)不良的貸款率。目前我們的金融用戶(hù)是新的用戶(hù)，他們需要更多的實(shí)時(shí)交互，希望更多的就是實(shí)時(shí)性的推薦及理財(cái)服務(wù)。

大數(shù)據(jù)在教育領(lǐng)域也有廣泛的應(yīng)用，比如說(shuō)我們可以用大數(shù)據(jù)來(lái)進(jìn)行教育改革，我們以學(xué)生為為中心，我們分析學(xué)生的心理情況，他的一些學(xué)習(xí)的習(xí)慣是不是他的考試成績(jī)等等。另外我們還可以呢根據(jù)學(xué)生他過(guò)往的一些學(xué)習(xí)的記錄，或者他一些興趣愛(ài)好，我們可以用大數(shù)據(jù)可以給他去制定一些職業(yè)規(guī)劃。大數(shù)據(jù)也可以應(yīng)用到了教育了行業(yè)的考試的評(píng)價(jià)分析。比如說(shuō)我們?nèi)ソo學(xué)生安排他個(gè)性化的學(xué)習(xí)方案，進(jìn)入他學(xué)習(xí)的這樣一個(gè)過(guò)程，我們不再以分?jǐn)?shù)作為最重要的評(píng)價(jià)標(biāo)準(zhǔn)，我們可以以它學(xué)習(xí)的這個(gè)過(guò)程和效果作為評(píng)價(jià)標(biāo)準(zhǔn)。

接下來(lái)我們介紹大數(shù)據(jù)在政府、公共安全領(lǐng)域的應(yīng)用，這里是一個(gè)應(yīng)用的案例，公共安全場(chǎng)景的自動(dòng)預(yù)警與聯(lián)動(dòng)，我們可以利用大數(shù)據(jù)自動(dòng)的去進(jìn)行監(jiān)測(cè)，他發(fā)現(xiàn)某一個(gè)區(qū)域的人流量異常增多，然后我們?cè)侔堰@個(gè)信息發(fā)送給監(jiān)管部門(mén)進(jìn)行初步的定位、分析，然后得到原因，我們?cè)侔阉l(fā)送給城市或者社區(qū)的監(jiān)控系統(tǒng)的確認(rèn)，最后把它上報(bào)給了上級(jí)部門(mén)進(jìn)行了處理。

這是一個(gè)大數(shù)據(jù)在交通規(guī)劃領(lǐng)域的應(yīng)用。這是一個(gè)案例叫交通規(guī)劃場(chǎng)景多維度的交通人群分析。我們可以根據(jù)某個(gè)某個(gè)區(qū)域的歷史輪流進(jìn)行了分析，比如說(shuō)我們根據(jù)人群的年齡進(jìn)行分析，我們根據(jù)這個(gè)分析結(jié)果可以去做路網(wǎng)的規(guī)劃，我們也可以按照它的出行方式進(jìn)行分析，然后去給定了交通線(xiàn)路的規(guī)劃。

這里是大數(shù)據(jù)在清潔能源領(lǐng)域的一個(gè)應(yīng)用。大家看一看，這個(gè)風(fēng)車(chē)適用于發(fā)電的，那風(fēng)車(chē)發(fā)電那跟大數(shù)據(jù)有什么關(guān)系呢？原因是這些風(fēng)車(chē)它在產(chǎn)生電能的過(guò)程中，它需要大數(shù)據(jù)監(jiān)控來(lái)幫助他去調(diào)整朝向，然后去最大化的進(jìn)行產(chǎn)生電能。另外對(duì)于這樣的風(fēng)車(chē)的監(jiān)控也是很有必要的。如果說(shuō)風(fēng)車(chē)由于一些故障倒掉了，這個(gè)對(duì)于企業(yè)來(lái)說(shuō)是個(gè)很重大的損失，也可能會(huì)造成人員的傷亡。如果說(shuō)我們利用大數(shù)據(jù)，用一些傳感器對(duì)它的一些狀態(tài)、信息進(jìn)行監(jiān)控，可以在早期就發(fā)問(wèn)題及時(shí)的進(jìn)行維修，避免發(fā)生一些故障。我們利用了大數(shù)據(jù)可以提升我們清潔能源的效率。

1.3 大數(shù)據(jù)計(jì)算任務(wù)

首先我們談一談我們一些就是要去計(jì)算分析處理的任務(wù)的類(lèi)型。比如說(shuō)有傳統(tǒng)的IO密集型的任務(wù)，那對(duì)于這種用戶(hù)，它主要涉及的是網(wǎng)絡(luò)、磁盤(pán)以及內(nèi)存，這個(gè)IO是非常密集的，它對(duì)cpu的消耗很少，它大部分的時(shí)間都是在做一些IO操作，還有就是在等待。

涉及到網(wǎng)絡(luò)、磁盤(pán)、內(nèi)存IO的任務(wù)都是lo密集型任務(wù)。

特點(diǎn):CPU消耗很少，任務(wù)的大部分時(shí)間都在等待Io操作完成（因?yàn)镮o的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度）。

對(duì)于IO密集型任務(wù)，任務(wù)越多，CPU效率越高，但也有一個(gè)限度。常見(jiàn)的大部分任務(wù)都是IO密集型任務(wù)，比如Web應(yīng)用。

IO密集型任務(wù)執(zhí)行期間，99%的時(shí)間都花在lo上，花在CPU上的時(shí)間很少，因此提升網(wǎng)絡(luò)傳輸效率和讀寫(xiě)效率是重中之重。

那么第二種類(lèi)型的計(jì)算，是計(jì)算密集型的任務(wù)，這種計(jì)算任務(wù)它要進(jìn)行大量的計(jì)算，主要是消耗cpu資源比，所以計(jì)算圓周率他要經(jīng)過(guò)了很多次的計(jì)算，還有對(duì)視頻進(jìn)行高清解碼等等，這些任務(wù)也是計(jì)算密集型的任務(wù)。對(duì)我們?cè)缙诘姆植际接?jì)算以及超算，還有就是網(wǎng)格計(jì)算，他們處理的是計(jì)算密集型的任務(wù)。

特點(diǎn):要進(jìn)行大量的計(jì)算，消耗CPU資源。比如計(jì)算國(guó)周率、對(duì)視頻進(jìn)行高清解碼等等全靠CPU的運(yùn)算能力。

計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成，但是任務(wù)越多，花在任務(wù)切換的時(shí)間是越長(zhǎng)，CPU執(zhí)行任務(wù)的效率就越低，所以，要最高效地利用CPU，計(jì)算密集型任務(wù)同時(shí)數(shù)量應(yīng)當(dāng)?shù)扔贑PU的核心數(shù)。

計(jì)算密集型任務(wù)由于主要消耗CPU資源,因此，代碼運(yùn)行效率至關(guān)重要。

我們看一看第三種任務(wù)數(shù)據(jù)密集型任務(wù)。數(shù)據(jù)密集型任務(wù)與計(jì)算密集型任務(wù)他有顯著的區(qū)別。那傳統(tǒng)的計(jì)算密集型用戶(hù)通常是通過(guò)了運(yùn)行計(jì)算的方式，這樣的作業(yè)放在緊偶合的超級(jí)計(jì)算機(jī)上來(lái)進(jìn)行少量計(jì)算作業(yè)，這種緊偶合來(lái)指的是這些超級(jí)計(jì)算機(jī)它共享存儲(chǔ)，比如說(shuō)內(nèi)存、磁盤(pán)。一個(gè)來(lái)計(jì)算作業(yè)，他同時(shí)會(huì)占用了大量的計(jì)算節(jié)點(diǎn)。那數(shù)據(jù)密集型它的方式是大量獨(dú)立的這個(gè)數(shù)據(jù)分析的作業(yè)，它可以分散在松耦合這個(gè)計(jì)算機(jī)集群的環(huán)境下進(jìn)行的運(yùn)行。這個(gè)松耦合就是說(shuō)這些節(jié)點(diǎn)之間他們都有獨(dú)一的存儲(chǔ)，獨(dú)立的cpu，cpu另外還有一個(gè)特點(diǎn)是每一個(gè)這個(gè)作業(yè)它又可以劃分成很多個(gè)任務(wù)，這些任務(wù)它是可以分布在不同的節(jié)點(diǎn)上同時(shí)進(jìn)行求解或者計(jì)算，最終他們的結(jié)果匯總之后是最終的結(jié)果。

數(shù)據(jù)密集型的計(jì)算，它典型應(yīng)用可以分為以下三類(lèi)：比如說(shuō)日志分析，很多企業(yè)的這些日志，比如說(shuō)用戶(hù)點(diǎn)擊流等等，這些日志。還有的軟件及服務(wù)這個(gè)應(yīng)用、云服務(wù)的上層應(yīng)用。還有大型企業(yè)的商務(wù)智能的應(yīng)用。

在大數(shù)據(jù)時(shí)代進(jìn)行大數(shù)據(jù)的分析與處理，我們要了解大數(shù)據(jù)在這個(gè)大數(shù)據(jù)分析處理它主要的幾種計(jì)算模式，這些計(jì)算模式也實(shí)際上都屬于是我們的數(shù)據(jù)密集型。那么首先第一個(gè)是批處理技術(shù)，批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批處理，那它主要有什么有mapreduce和spark等等，這些大數(shù)據(jù)產(chǎn)品它支持這個(gè)批處理技術(shù)。

流處理計(jì)算，針對(duì)流出數(shù)據(jù)的實(shí)時(shí)處理計(jì)算，主要有這樣一些引擎，比如說(shuō)像spark、storm、Flink、Flume，F(xiàn)lume是關(guān)于流數(shù)據(jù)采集的工具。還有就是圖計(jì)算是針對(duì)了大規(guī)模圖結(jié)構(gòu)的數(shù)據(jù)計(jì)算，主要有一些產(chǎn)品，GraphX、Gelly、Giraph、PowerGraph等。

還有查詢(xún)分析計(jì)算，查詢(xún)分析計(jì)算是大數(shù)據(jù)分析與處理一個(gè)很重要的計(jì)算模式。比如說(shuō)我們通常想在海量數(shù)據(jù)里面，在一秒鐘或者是幾秒鐘、很短的時(shí)間之內(nèi)要查詢(xún)分析到了某個(gè)結(jié)果或者某個(gè)統(tǒng)計(jì)，它要求具有實(shí)時(shí)性，像Hive、Impala、Dremel、Cassandra等等這些大數(shù)據(jù)產(chǎn)品它都支持了查詢(xún)分析計(jì)算。

接下來(lái)我們給大家宏觀的介紹一些大數(shù)據(jù)的生態(tài)圈。這樣一個(gè)生態(tài)圈，我們從底層向上給大家介紹，在大數(shù)據(jù)發(fā)展的初期，只有Hadoop一個(gè)開(kāi)源的項(xiàng)目，Hadoop這個(gè)開(kāi)源項(xiàng)目它包含了兩個(gè)大數(shù)據(jù)組件，一個(gè)是hdfs成為了分布式文件管理系統(tǒng)，另外一個(gè)叫mapreduce成為了批處理計(jì)算引擎，兩個(gè)組件的hdfs它是用于分布式文件系統(tǒng)，另外mapreduce是一個(gè)批處理的計(jì)算框架。那隨著Hadoop發(fā)展以及Hadoop它應(yīng)用的廣泛，很多企業(yè)都希望去構(gòu)建自己的大數(shù)據(jù)分析處理平臺(tái)，因此他們研發(fā)了很多產(chǎn)品。另外YARN是一個(gè)統(tǒng)一的資源管理框架，它是一種純的資源管理框架。

在我們?cè)缙诘臅r(shí)候，比如說(shuō)Hadoop 1.0的時(shí)候，實(shí)際上這個(gè)mapreduce他既負(fù)責(zé)了分布式計(jì)算，也負(fù)責(zé)了自身的資源管理調(diào)度以及任務(wù)管理調(diào)度。在Hadoop 2.0之后，他把mapreduce里面的資源管理調(diào)度、任務(wù)管理與調(diào)度把它分割出來(lái)，然后用YARN去進(jìn)行統(tǒng)一的資源管理調(diào)度，再接著我們往上看，就是Hive的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)就是大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)，它主要是用于匯聚數(shù)據(jù)、提供了查詢(xún)分析的。

還有Mahout，Mahout是基于底層的基于mapreduce這種計(jì)算引擎的一個(gè)機(jī)器學(xué)習(xí)庫(kù)，還有pig，它主要是提供的一種就是高層次抽象的一個(gè)數(shù)據(jù)分析引擎，我們通過(guò)撰寫(xiě)來(lái)簡(jiǎn)單的PIig這樣的腳本，我們就可以實(shí)現(xiàn)很復(fù)雜的數(shù)據(jù)數(shù)據(jù)分析，相對(duì)mapreduce來(lái)說(shuō)它的語(yǔ)法更加簡(jiǎn)潔。

我們?cè)倏瓷蠈樱蠈邮怯?jì)算引擎，計(jì)算引擎比如說(shuō)有Tez，這是一種DAG計(jì)算框架，這種計(jì)算框架是對(duì)mapreduce的改進(jìn)。他把mapreduce，map和reduce又劃分成進(jìn)一步的打成了很多較小的操作，并且把它們重新組合成一個(gè)有效圖，減少了冗余的操作，同時(shí)也減少了對(duì)文件的讀寫(xiě)操作。

基于內(nèi)存的分布式計(jì)算框架叫spark，這個(gè)框架它可以去克服了mapreduce的一些缺陷。它能夠它適合于具有迭代性質(zhì)、多次迭代性質(zhì)的機(jī)器學(xué)習(xí)計(jì)算。

Flink是流批一體的處理框架，它自己支持了流式計(jì)算，也支持批處理計(jì)算，這是我們目前大數(shù)據(jù)分析處理一個(gè)升起來(lái)的新星。Oozie這個(gè)是作業(yè)流調(diào)度管理的系統(tǒng)。比如說(shuō)我們大數(shù)據(jù)的一個(gè)應(yīng)用場(chǎng)景，它涉及到了很多就是大數(shù)據(jù)的分析與處理的流程。比如說(shuō)我先要去mapreduce對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理之后要用spark基于內(nèi)存的計(jì)算方式進(jìn)行機(jī)器學(xué)習(xí)、訓(xùn)練這個(gè)模型等等這些流程。早期的時(shí)候，我們需要手工的寫(xiě)腳本去配置這些程之間的依賴(lài)關(guān)系。那么現(xiàn)在我們可以直接用Oozie這種作業(yè)流調(diào)度管理系統(tǒng)去直接配置。

右邊是大數(shù)據(jù)平臺(tái)的數(shù)據(jù)采集工具sqoop，這個(gè)是大數(shù)據(jù)平臺(tái)的ETL工具，它可以把傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)里面的數(shù)據(jù)直接把它加載到大數(shù)據(jù)平臺(tái)。Flume是流式二次數(shù)據(jù)的收集。當(dāng)然還有kafka。

左邊我們看有zookeeper稱(chēng)為動(dòng)物園管理員。它主要是在大數(shù)據(jù)平臺(tái)上提供分布式協(xié)調(diào)服務(wù)，很多組件都需要依賴(lài)于zookeeper，比如說(shuō)我們的hdfs，還有kafka，F(xiàn)link等等，他們需要zookeeper進(jìn)行了分布式協(xié)調(diào)。

在最上層是Ambari，Ambari它是一種就是自動(dòng)化的安裝部署工具，可以很方便的部署大數(shù)據(jù)平臺(tái)，這就是我們的對(duì)大數(shù)據(jù)生態(tài)圈的一個(gè)大概的介紹。

1.4 企業(yè)所面臨的挑戰(zhàn)和機(jī)遇

盡管大數(shù)據(jù)形勢(shì)一片大好，但是我們的企業(yè)在大數(shù)據(jù)時(shí)代也面臨了眾多的挑挑戰(zhàn)和機(jī)遇。我們先看一看傳統(tǒng)的數(shù)據(jù)分析處理它遇到了哪些挑戰(zhàn)。比如說(shuō)我們傳統(tǒng)的框架模型是小型機(jī)加上磁盤(pán)加上商用數(shù)據(jù)庫(kù)，但是這種架構(gòu)它不能夠滿(mǎn)足海量數(shù)據(jù)的日益增多，就是說(shuō)我們可以去做縱向的一些擴(kuò)展。比如說(shuō)存儲(chǔ)方面我們可以去加大磁盤(pán)，還有就是在內(nèi)存方面，我們可以給它增加內(nèi)存條，但是采用這種方式它的擴(kuò)展的容量是有限的。

其次是面對(duì)海量數(shù)據(jù)，我們需要有具有了非常大的算力，目前傳統(tǒng)模式是不足以支撐海量數(shù)據(jù)分析。具體來(lái)看有以下方面的一些挑戰(zhàn)，比如說(shuō)海量數(shù)據(jù)的高存儲(chǔ)成本。第二個(gè)呢是數(shù)據(jù)的批處理能力不足。比如說(shuō)我們給他去多加點(diǎn)cpu，四核、八核甚至十六核，但是它的處理能力總是有個(gè)限度。還有流式數(shù)據(jù)的處理缺失，傳統(tǒng)的數(shù)據(jù)處理方式?jīng)]有去考慮了流式數(shù)據(jù)的處理。我們?cè)诖髷?shù)據(jù)時(shí)代，流數(shù)據(jù)具有巨大的商業(yè)價(jià)值，比如說(shuō)我們的用戶(hù)點(diǎn)擊流，比如說(shuō)用戶(hù)他在瀏覽某個(gè)電子商務(wù)網(wǎng)站，它點(diǎn)擊了某些商品，購(gòu)買(mǎi)了某些商品，馬上要利用他的什么這些點(diǎn)擊信息去給他去推薦，就是說(shuō)他所感興趣的商品。那如果這個(gè)流式計(jì)算，但時(shí)間延遲太大，這個(gè)可能這個(gè)客戶(hù)就已經(jīng)走掉了，離開(kāi)這個(gè)網(wǎng)站。還有是有限的擴(kuò)展能力。

傳統(tǒng)的這種架構(gòu)它是一種就是縱向的擴(kuò)展，它擴(kuò)展成本非常之高，并且能力也有限。還有就是單一的數(shù)據(jù)源，因?yàn)槲覀儌鹘y(tǒng)的關(guān)系數(shù)據(jù)庫(kù)它主要存儲(chǔ)的都是結(jié)構(gòu)型數(shù)據(jù)啊，但是我們?cè)诖髷?shù)據(jù)時(shí)代有結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，還有數(shù)據(jù)資產(chǎn)對(duì)外增值的問(wèn)題，因?yàn)槲覀儌鹘y(tǒng)的數(shù)據(jù)存儲(chǔ)模式他沒(méi)有去考慮數(shù)據(jù)共享以及這個(gè)數(shù)據(jù)怎么樣去增值的問(wèn)題。

企業(yè)具體來(lái)說(shuō)有以下一些挑戰(zhàn)：

第一個(gè)是業(yè)務(wù)部門(mén)他不清楚是否有大數(shù)據(jù)的需求。比如說(shuō)在早期移動(dòng)電信的市場(chǎng)營(yíng)銷(xiāo)部門(mén)，他們是不知道我們通過(guò)對(duì)給用戶(hù)的這個(gè)使用套餐的這樣一些大數(shù)據(jù)進(jìn)行分析，去做精準(zhǔn)的套餐營(yíng)銷(xiāo)，還有比如說(shuō)在我們的銀行這個(gè)就是貸款部門(mén)他們不知道用大數(shù)據(jù)可以去做風(fēng)控，降低這個(gè)貸款的這個(gè)壞賬率。

二是企業(yè)內(nèi)部這個(gè)數(shù)據(jù)孤島嚴(yán)重，我們通過(guò)這么多年的信息化的發(fā)展，每個(gè)企業(yè)它都有了大大小小的很多個(gè)信息系統(tǒng)，這些信息系統(tǒng)之間的數(shù)據(jù)它是不共享的，也無(wú)法把這些數(shù)據(jù)集成在一起去發(fā)揮了這個(gè)大數(shù)據(jù)的價(jià)值。

第三個(gè)方面是數(shù)據(jù)的可用性低、質(zhì)量差，因?yàn)槲覀兒芏嗥髽I(yè)它盡管產(chǎn)生大量的數(shù)據(jù)，但是這些企業(yè)它對(duì)大數(shù)據(jù)預(yù)處理這個(gè)技術(shù)掌握了不全或者是不夠重視，因此對(duì)數(shù)據(jù)的處理不夠規(guī)范。那么它所保存的數(shù)據(jù)要么是不可用，比如說(shuō)我們有些醫(yī)院。他這個(gè)電子病歷因?yàn)樗麤](méi)有了良好的規(guī)范，醫(yī)生所記錄的這個(gè)病癥的情況通常是一兩個(gè)詞語(yǔ)，這個(gè)造成了他這個(gè)電子病歷不可用。還有就是說(shuō)對(duì)數(shù)據(jù)如何進(jìn)行清洗和去噪聲的這個(gè)掌握技術(shù)有限因此導(dǎo)致數(shù)據(jù)的質(zhì)量較差，進(jìn)行數(shù)據(jù)分析很難以得出有效或者是有用的決策。

第四個(gè)方面是數(shù)據(jù)相關(guān)管理的技術(shù)和架構(gòu)存在問(wèn)題，傳統(tǒng)的數(shù)據(jù)庫(kù)不適合于處理處理PB級(jí)別的數(shù)據(jù)，我們的mysql數(shù)據(jù)庫(kù)，如果說(shuō)它存儲(chǔ)的數(shù)據(jù)的條數(shù)達(dá)到百萬(wàn)級(jí)，這個(gè)查詢(xún)性能就非常之低了，還有傳統(tǒng)的數(shù)據(jù)庫(kù)它不適合存儲(chǔ)半結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)，還有是海量數(shù)據(jù)的運(yùn)維要保證數(shù)據(jù)的穩(wěn)定性，并且支持高并發(fā)的訪(fǎng)問(wèn)。因?yàn)閭鹘y(tǒng)的數(shù)據(jù)庫(kù)他沒(méi)有專(zhuān)門(mén)的去考慮這個(gè)數(shù)據(jù)的穩(wěn)定性的問(wèn)題，其次就是很多傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)高并發(fā)的支持并不是很好。

第五個(gè)方面是數(shù)據(jù)的安全問(wèn)題。數(shù)據(jù)的安全問(wèn)題實(shí)際上是分兩個(gè)方面，一個(gè)方面是數(shù)據(jù)的信息安全問(wèn)題。因?yàn)槟壳氨M管有大量的數(shù)據(jù)，但是很多犯罪分子他知道數(shù)據(jù)的價(jià)值，因此他們想盡千方百計(jì)的想去追蹤或者是切除數(shù)據(jù)。第二個(gè)是數(shù)據(jù)的存儲(chǔ)安全。那我們?nèi)绾稳ケＷC數(shù)據(jù)的存儲(chǔ)安全不丟失或者不損壞。我們對(duì)數(shù)據(jù)的多副本與容災(zāi)機(jī)制，這些技術(shù)也急需提高。

挑戰(zhàn)六是大數(shù)據(jù)人才的缺乏。大數(shù)據(jù)建設(shè)的每一個(gè)環(huán)節(jié)它必須要來(lái)依賴(lài)專(zhuān)業(yè)的人員去完成，因此我們必須要去培養(yǎng)和造就一直既掌握了大數(shù)據(jù)技術(shù)，也掌握了大數(shù)據(jù)管理技術(shù)，并且有大數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗(yàn)的這樣一些專(zhuān)業(yè)隊(duì)伍。

挑戰(zhàn)七是數(shù)據(jù)開(kāi)放與隱私的權(quán)衡，這個(gè)數(shù)據(jù)的開(kāi)放它是一把雙刃劍，數(shù)據(jù)的開(kāi)放和共享有利于這數(shù)據(jù)的創(chuàng)新，有利于商業(yè)模式的創(chuàng)新，并且會(huì)促使了很多針對(duì)數(shù)據(jù)的應(yīng)用的開(kāi)發(fā)。但是它也存在個(gè)問(wèn)題，就是我們數(shù)據(jù)中的用戶(hù)的一些隱私信息，那如何保證數(shù)據(jù)的開(kāi)放，又能夠去避免了隱私數(shù)據(jù)的泄露，這個(gè)也是我們企業(yè)需要考慮的問(wèn)題。

大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)，大數(shù)據(jù)它能夠帶來(lái)巨大的商業(yè)價(jià)值，現(xiàn)在目前對(duì)我們企業(yè)都是有目共睹的。那大數(shù)據(jù)將成為引領(lǐng)一場(chǎng)與二十世紀(jì)的計(jì)算機(jī)革命相匹配的巨大變革。那每個(gè)領(lǐng)域都受到大數(shù)據(jù)的影響，包括了商業(yè)和經(jīng)濟(jì)，就好像是互聯(lián)網(wǎng)改變我們的生活一樣，大數(shù)據(jù)也在漸漸的在改變我們的生活，下面是一些機(jī)遇與挑戰(zhàn)。

第一個(gè)方面是大數(shù)據(jù)挖掘成為商業(yè)分析的核心。有一些商業(yè)決策我們需要使用大數(shù)據(jù)作為了我們的工具。企業(yè)需要利用大數(shù)據(jù)分析為企業(yè)提供支撐，比如說(shuō)它未來(lái)的就是產(chǎn)品生產(chǎn)的生產(chǎn)的類(lèi)型，以及產(chǎn)品生產(chǎn)的數(shù)量等等。對(duì)于有些電子商務(wù)網(wǎng)站，我們可以利用大數(shù)據(jù)挖掘去提升用戶(hù)的體驗(yàn)程度，另外去用數(shù)據(jù)去驅(qū)動(dòng)自己的商業(yè)模式。

接下來(lái)我們看大數(shù)據(jù)呢成為信息技術(shù)應(yīng)用的支撐點(diǎn)，移動(dòng)互聯(lián)網(wǎng)的、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)，他們是新一代的信息技術(shù)應(yīng)用的形態(tài)，那我們利用大數(shù)據(jù)技術(shù)可以作為支撐。幫助其改善用戶(hù)的體驗(yàn)，幫助其進(jìn)行功能創(chuàng)新，產(chǎn)生了巨大的商業(yè)價(jià)值。

機(jī)遇三：大數(shù)據(jù)成為信息產(chǎn)業(yè)持續(xù)增長(zhǎng)的新引擎。

隨著行業(yè)用戶(hù)對(duì)大數(shù)據(jù)價(jià)值認(rèn)可程度的增加，市場(chǎng)需求將出現(xiàn)井噴，面向大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。

大數(shù)據(jù)有巨大的需求，這些需求它將會(huì)引導(dǎo)出比如說(shuō)新的技術(shù)、新的產(chǎn)品、新的服務(wù)、新的業(yè)態(tài)，另外大數(shù)據(jù)它將它的需求，也將為信息產(chǎn)業(yè)的創(chuàng)建提供了一個(gè)高速增長(zhǎng)的市場(chǎng)。比如說(shuō)為了更加高效、可靠的去存儲(chǔ)數(shù)據(jù)，我們要去研制呢高可靠、適合于海量數(shù)據(jù)存儲(chǔ)的存儲(chǔ)設(shè)備。我們?yōu)榱巳ヌ嵘髷?shù)據(jù)的算力，我們要去研制相關(guān)的芯片或者GPU、CPU等等，這些大數(shù)據(jù)將會(huì)成為了信息產(chǎn)業(yè)持續(xù)增長(zhǎng)的新的引擎。

大數(shù)據(jù)將為信息產(chǎn)業(yè)創(chuàng)建一個(gè)高增長(zhǎng)的新市場(chǎng):在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)面臨的有效存儲(chǔ)、快速讀寫(xiě)、實(shí)時(shí)分析等挑戰(zhàn)，將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng);在軟件與服務(wù)領(lǐng)域，因?yàn)榇髷?shù)據(jù)中蘊(yùn)涵的巨大價(jià)值，帶來(lái)對(duì)數(shù)據(jù)快速處理和分析的迫切需求，將引發(fā)數(shù)據(jù)挖掘、商業(yè)智能市場(chǎng)的空前繁榮。

二、華為鯤鵬解決方案

2.1 鯤鵬簡(jiǎn)介

下面是鯤鵬計(jì)算產(chǎn)業(yè)的產(chǎn)生背景。目前計(jì)算產(chǎn)業(yè)呢有兩個(gè)發(fā)展趨勢(shì)，一個(gè)趨勢(shì)是智能終端逐漸取代了傳統(tǒng)的pc，另外一個(gè)趨勢(shì)是世界目前正在進(jìn)入了萬(wàn)物互聯(lián)的時(shí)代。那傳統(tǒng)的pc逐步向智能終端的轉(zhuǎn)移，他對(duì)我們的算力有新的要求，在算力的架構(gòu)方面，目前傳統(tǒng)pc的計(jì)算架構(gòu)是沒(méi)有辦法滿(mǎn)足了智能終端的計(jì)算架構(gòu)的。

另外，世界進(jìn)入萬(wàn)物互聯(lián)時(shí)代會(huì)產(chǎn)生的海量的數(shù)據(jù)。據(jù)報(bào)告2018年全球的連接設(shè)備已經(jīng)超過(guò)了兩百三十億，這些海量的連接會(huì)產(chǎn)生海量的數(shù)據(jù)，海量的數(shù)據(jù)對(duì)新的計(jì)算力也有了新的要求，有些需要計(jì)算力支持AI智能處理。所以說(shuō)這兩個(gè)趨勢(shì)對(duì)我們目前的算力提出了新的要求。未來(lái)計(jì)算的應(yīng)用背景產(chǎn)生了了很大的變化，從掃地機(jī)器人到大家的傳統(tǒng)所熟悉的一些應(yīng)用場(chǎng)景，比如說(shuō)智能手機(jī)、物聯(lián)網(wǎng)、自動(dòng)駕駛等等這些應(yīng)用場(chǎng)景。

那應(yīng)用場(chǎng)景的多樣化又產(chǎn)生了數(shù)據(jù)的多樣化，這些應(yīng)用場(chǎng)景產(chǎn)生的數(shù)據(jù)包含文本、圖片、語(yǔ)音的、視頻等等的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。那么不同的計(jì)算方式對(duì)應(yīng)用場(chǎng)景和數(shù)據(jù)的支撐具有不同的特點(diǎn)。比如說(shuō)整型計(jì)算，它更加適合于文本處理和數(shù)據(jù)分析。浮點(diǎn)計(jì)算更加適合于科學(xué)計(jì)算和視頻處理，新的應(yīng)用場(chǎng)景以及數(shù)據(jù)的多樣化需要我們提出了更多的計(jì)算架構(gòu)，滿(mǎn)足了企業(yè)需求。

新的應(yīng)用、新的技術(shù)、新的計(jì)算架構(gòu)、百億級(jí)的互聯(lián)、爆炸式的數(shù)據(jù)增長(zhǎng)將重塑ICT產(chǎn)業(yè)的格局，這些新的需求將促使了新的企業(yè)的產(chǎn)生，以及新的計(jì)算產(chǎn)業(yè)鏈條。那我們目前涌現(xiàn)出來(lái)了很多提供新的計(jì)算產(chǎn)業(yè)的廠(chǎng)家。新的計(jì)算產(chǎn)業(yè)它包含的硬件主要包括了服務(wù)器、機(jī)器部件，還有企業(yè)存儲(chǔ)設(shè)備。新的計(jì)算產(chǎn)業(yè)所包含的軟件如上圖所示，目前預(yù)計(jì)2023年全球計(jì)算產(chǎn)業(yè)的投資額，企業(yè)級(jí)應(yīng)用軟件會(huì)達(dá)到了四千多億，其次是基礎(chǔ)架構(gòu)軟件，可以達(dá)到了一千五百多億。那么鯤鵬計(jì)算產(chǎn)業(yè)有哪些優(yōu)勢(shì)呢？具體來(lái)說(shuō)包含在兩個(gè)方面，第一個(gè)方面是中國(guó)市場(chǎng)進(jìn)行孵化和與中國(guó)市場(chǎng)進(jìn)行完善的行業(yè)應(yīng)用。

眾所周知，中國(guó)擁有ICT產(chǎn)業(yè)了巨大的市場(chǎng)，并且擁有了相對(duì)完善的產(chǎn)業(yè)鏈。鯤鵬計(jì)算產(chǎn)業(yè)在中國(guó)進(jìn)行了順利的發(fā)展，未來(lái)將推動(dòng)了全球計(jì)算產(chǎn)業(yè)的發(fā)展，與全球的計(jì)算產(chǎn)業(yè)形成良性的循環(huán)。第二個(gè)方面是華為作為鯤鵬計(jì)算產(chǎn)業(yè)的成員之一，華為掌握ARM 64的計(jì)算核心以及架構(gòu)技術(shù)，同時(shí)華為還掌握了ARM 8永久架構(gòu)授權(quán)。華為不斷地推動(dòng)ARM架構(gòu)的發(fā)展，以及推動(dòng)了arm生態(tài)的發(fā)展。未來(lái)鯤鵬計(jì)算產(chǎn)業(yè)與全球的arm計(jì)算生態(tài)形成了良性互動(dòng)協(xié)同的發(fā)展。

下面我們來(lái)看一看鯤鵬計(jì)算產(chǎn)業(yè)的整體架構(gòu)，鯤鵬計(jì)算產(chǎn)業(yè)是基于鯤鵬處理器構(gòu)建的全站IT的基礎(chǔ)設(shè)施。另外行業(yè)應(yīng)用服務(wù)它包括了pc、存儲(chǔ)、虛擬化、操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)、云服務(wù)、行業(yè)應(yīng)用，還有關(guān)于行業(yè)應(yīng)用的咨詢(xún)管理服務(wù)。下面我們看一看鯤鵬計(jì)算產(chǎn)業(yè)的典型應(yīng)用。在5G、大數(shù)據(jù)、云計(jì)算等的技術(shù)的推動(dòng)下，各行各業(yè)對(duì)計(jì)算平臺(tái)都提出來(lái)了關(guān)于重構(gòu)海量、多樣化數(shù)據(jù)的智能分析處理，以及實(shí)時(shí)分析處理的需求。

那么鯤鵬計(jì)算產(chǎn)業(yè)以鯤鵬的處理器為算力底座，在各行各業(yè)的數(shù)字化的進(jìn)程中發(fā)揮了重要的作用。目前呢鯤鵬計(jì)算產(chǎn)業(yè)的主要應(yīng)用場(chǎng)景包括智慧政府、智能駕駛、智能制造、智慧醫(yī)療、智慧教育等。諸多的產(chǎn)業(yè)針對(duì)鯤鵬計(jì)算產(chǎn)業(yè)，目前已經(jīng)初步形成了了鯤鵬計(jì)算產(chǎn)業(yè)的生態(tài)。

上圖是鯤鵬計(jì)算產(chǎn)業(yè)的生態(tài)圖，鯤鵬生態(tài)包括開(kāi)發(fā)者生態(tài)、技術(shù)生態(tài)、產(chǎn)業(yè)生態(tài)、伙伴生態(tài)等形式。另外鯤鵬生態(tài)也致力于與高校合作，并且進(jìn)行了鯤鵬的社區(qū)建設(shè)，目的是培養(yǎng)人才、推廣技術(shù)。

下面介紹華為以鯤鵬的處理器構(gòu)建整機(jī)計(jì)算能力的發(fā)展歷程，如圖所示，在紐帶上方是華為研發(fā)了鯤鵬芯片以及鯤鵬處理器。華為預(yù)計(jì)在2021年研發(fā)華為鯤鵬930處理器，在2023年研發(fā)了華為鯤鵬950的處理器。在藍(lán)色紐帶的下方是華為以鯤鵬的處理器所研發(fā)的整機(jī)的計(jì)算設(shè)備。華為于2016年推出了泰山第一代服務(wù)器，也就是泰山100，它給予了鯤鵬916處理器，在2019年華為推出了泰山200，也就是泰山的第二代服務(wù)器，它基于了鯤鵬的920的處理器。

華為的研發(fā)研發(fā)理念和目標(biāo)主要是高性能計(jì)算、安全可靠以及開(kāi)放生態(tài)。下面介紹一下鯤鵬生態(tài)的兼容的操作系統(tǒng)。鯤鵬生態(tài)兼容的國(guó)產(chǎn)操作系統(tǒng)包括社區(qū)發(fā)行版，有了華為的了openEuler，另外支持了國(guó)產(chǎn)操作系統(tǒng)的商用發(fā)行版本主要包括了這些操作系統(tǒng)，湖南麒麟、凝思以及一銘軟件操作系統(tǒng)，還有中標(biāo)麒麟以及銀河麒麟。那華為鯤鵬的生態(tài)建筑的國(guó)外操作系統(tǒng)包含了社區(qū)發(fā)行版本有centOS和debian，商用發(fā)行版本比較有代表性的有SUSE和ubuntu。

那需要說(shuō)明的是鯤鵬的生態(tài)目前兼容的操作系統(tǒng)僅僅是Linux作系統(tǒng)，并不包括windows操作系統(tǒng)。那具體的鯤鵬生態(tài)所兼容的操作系統(tǒng)，大家可以在華為的官網(wǎng)上進(jìn)行查詢(xún)。

接下來(lái)帶大家了解華為云的鯤鵬云服務(wù)。華為云鯤鵬云服務(wù)是基于了鯤鵬處理器等多元的基礎(chǔ)設(shè)施，這些是以鯤鵬處理器為基礎(chǔ)的多元基礎(chǔ)設(shè)施。它提供的鯤鵬、BMS、鯤鵬ECS、鯤鵬OBS等等一些鯤鵬云服務(wù)多達(dá)了六十九種，它提供的鯤鵬的專(zhuān)屬云。鯤鵬HPC、鯤鵬大數(shù)據(jù)、鯤鵬的企業(yè)應(yīng)用等等，多達(dá)了二十家解決方案。另外支持政府、金融、大企業(yè)、互聯(lián)網(wǎng)等多行業(yè)的全場(chǎng)景的應(yīng)用。

下面是華為云鯤鵬云服務(wù)所支持的一些典型的業(yè)務(wù)和場(chǎng)景。具體來(lái)說(shuō)它包含了七個(gè)方面，包括了事務(wù)處理、大數(shù)據(jù)分析、數(shù)據(jù)庫(kù)、科學(xué)計(jì)算、云服務(wù)、存儲(chǔ)以及移動(dòng)原生應(yīng)用。那在各類(lèi)業(yè)務(wù)中，開(kāi)源的軟件是直接可以在華為鯤鵬的平臺(tái)上運(yùn)行的，并且運(yùn)行度較高。可以定型化的應(yīng)用，將受益于鯤鵬云的高并發(fā)特性的支持，具有較好的性能。

2.2 鯤鵬大數(shù)據(jù)解決方案

鯤鵬大數(shù)據(jù)解決方案隸屬于了華為大數(shù)據(jù)解決方案的之一，鯤鵬大數(shù)據(jù)解決方案，它提供了一站式高性能的大數(shù)據(jù)計(jì)算及數(shù)據(jù)安全解決方案，它主要針對(duì)公共安全行業(yè)的大數(shù)據(jù)的智能化建設(shè)中的數(shù)據(jù)安全、效率以及能耗等基礎(chǔ)性的難題進(jìn)行建設(shè)。

華為大數(shù)據(jù)解決方案還包括了BigData pro大數(shù)據(jù)解決方案，該方案采用了基于公有云的存儲(chǔ)和計(jì)算分離架構(gòu)，采用了鯤鵬算力作為計(jì)算資源，鯤鵬算力可以無(wú)限性進(jìn)行彈性擴(kuò)容。另外支持了原生多協(xié)議的OBS對(duì)象存儲(chǔ)服務(wù)，并且支持統(tǒng)一的一站式存儲(chǔ)數(shù)據(jù)湖。另外提供存算分離、極致彈性和極致高效的全新的公有云的大數(shù)據(jù)解決方案，大幅提升了大數(shù)據(jù)集群的資源利用率，大數(shù)據(jù)的成本小了，通用的大數(shù)據(jù)平臺(tái)了可以降低了百分之五十。

那么華為大數(shù)據(jù)解決方案有哪些優(yōu)勢(shì)呢？它具體包括了三個(gè)方面。

第一個(gè)方面是高安全性，服務(wù)器和大數(shù)據(jù)平臺(tái)是自主可控的。還有就是數(shù)據(jù)是芯片級(jí)別的加密，數(shù)據(jù)不容許私密。

另外是高性能，它比同檔次的通用服務(wù)器性能可以提高了百分之三十，擁有了超強(qiáng)的算力，并且對(duì)高并發(fā)的應(yīng)用場(chǎng)景可以進(jìn)行優(yōu)化，支持了五千多個(gè)節(jié)點(diǎn)的大數(shù)據(jù)呢集群。

第三個(gè)方面呢是高開(kāi)放性，它兼容了ARM生態(tài)鏈，支持了主流的軟硬件。華為建立了openlab，它提供了軟件開(kāi)發(fā)、應(yīng)用移植、兼容認(rèn)證等服務(wù)，方便企業(yè)提升自身的大數(shù)據(jù)實(shí)力。下面帶大家了解了華為云大數(shù)據(jù)服務(wù)的架構(gòu)。

華為云大數(shù)據(jù)服務(wù)是集數(shù)據(jù)開(kāi)發(fā)、測(cè)試以及應(yīng)用一體的一站式服務(wù)的架構(gòu)。它底層的包含一站式大數(shù)據(jù)平臺(tái)，也稱(chēng)為了華為云的MRS服務(wù)。一站式的大數(shù)據(jù)平臺(tái)MRS服務(wù)它支持了主流的開(kāi)源大數(shù)據(jù)的組件，以及華為依據(jù)了開(kāi)源組件進(jìn)行自身的定制的一些高性能的組件。

在上層是智能的數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)。上層智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)稱(chēng)為DAYU，它可以去調(diào)用下層的一站式大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)的處理以及分析。智能數(shù)據(jù)湖運(yùn)營(yíng)平臺(tái)DAYU是一站式的數(shù)據(jù)運(yùn)營(yíng)平臺(tái)，不光可以提供數(shù)據(jù)的處理、數(shù)據(jù)的建模，還有數(shù)據(jù)的應(yīng)用和數(shù)據(jù)的開(kāi)發(fā)。在下層還提供了相應(yīng)的數(shù)據(jù)服務(wù)，比如說(shuō)數(shù)據(jù)倉(cāng)庫(kù)，還有云搜索服務(wù)、華為云大數(shù)據(jù)服務(wù)百分百兼容開(kāi)源生態(tài)，也就是說(shuō)開(kāi)源生態(tài)軟件可以無(wú)縫的集成到了華為云大數(shù)據(jù)服務(wù)中。對(duì)第三方組件可以支持了插件化管理，是企業(yè)一站式平臺(tái)。

華為云大數(shù)據(jù)服務(wù)支持了存算分離，可以用鯤鵬算力進(jìn)行優(yōu)化，擁有了更高的性能。下面介紹華為云的MRS的服務(wù)。

MapReduce服務(wù)(MapReduce Service，簡(jiǎn)稱(chēng)MRS)是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可完成部署Hadoop集群。

MRS提供租戶(hù)完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開(kāi)源接口，結(jié)合華為云計(jì)算、存儲(chǔ)優(yōu)勢(shì)及夭數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶(hù)提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺(tái)，輕松運(yùn)行Hadoop、Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務(wù)需要進(jìn)行定制開(kāi)發(fā)的能力，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，并通過(guò)對(duì)海量信息數(shù)據(jù)實(shí)時(shí)與非實(shí)時(shí)的分析挖掘，發(fā)現(xiàn)全新價(jià)值點(diǎn)和企業(yè)商機(jī)。

下面帶大家了解華為云MRS服務(wù)的優(yōu)勢(shì)。首先第一個(gè)方面是高性能。MRS支持自研的CarbonData存儲(chǔ)技術(shù)，以一份數(shù)據(jù)同時(shí)支持了多種應(yīng)用場(chǎng)景。第二個(gè)方面，通過(guò)多級(jí)索引、字典聚合、預(yù)聚合、動(dòng)態(tài)Paetition、準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢(xún)等特性，提升了IO掃描和計(jì)算能力，能夠?qū)崿F(xiàn)萬(wàn)億數(shù)據(jù)分析秒級(jí)響應(yīng)。

支持自研的增強(qiáng)型的調(diào)度器superior，突破了單集群的規(guī)模瓶頸，集群的調(diào)度能力能夠超過(guò)一萬(wàn)個(gè)節(jié)點(diǎn)，基于鯤鵬處理器進(jìn)行了軟硬件的垂直優(yōu)化，充分的釋放了硬件的算力，實(shí)現(xiàn)了高性?xún)r(jià)比。

易運(yùn)維：MRS它提供了可視化大數(shù)據(jù)集群的管理平臺(tái)，提高了運(yùn)維效率。可視化的大數(shù)據(jù)集群的管理中的可視化界面。我們利用的可視化管理可以去了解了所提供的服務(wù)類(lèi)型，還有可以掌握了集群中主機(jī)的健康狀況，了解集群中主機(jī)的網(wǎng)絡(luò)狀況，以及集群中主機(jī)的磁盤(pán)的占用率。它支持了滾動(dòng)的補(bǔ)丁的升級(jí)、可視化補(bǔ)丁的發(fā)布消息，無(wú)需人工干預(yù)。不停業(yè)務(wù)，保障用戶(hù)集群的長(zhǎng)期穩(wěn)定。MRS服務(wù)它支持了全節(jié)點(diǎn)的高可用，實(shí)時(shí)進(jìn)行了短信郵件通知，方便用戶(hù)實(shí)時(shí)的掌握集群的動(dòng)態(tài)。

下面帶大家了解華為云MRS服務(wù)優(yōu)勢(shì)之三：高安全性。MRS支持kerberos的安全認(rèn)證，實(shí)現(xiàn)了基于角色的權(quán)限控制以及完善的審計(jì)功能。第二個(gè)方面，RMS支持在華為云的公共資源區(qū)、資源專(zhuān)屬區(qū)以及客戶(hù)機(jī)房的HCS Online為客戶(hù)配置不同物理隔離方式的一站式大數(shù)據(jù)平臺(tái)，MRS還支持了集群內(nèi)部的邏輯，多租戶(hù)通過(guò)權(quán)限隔離，對(duì)集群的計(jì)算、存儲(chǔ)、表格等資源按照租戶(hù)來(lái)進(jìn)行劃分，這是集群內(nèi)部的管理界面上的Kerberos安全認(rèn)證以及安全認(rèn)證的一些服務(wù)。

華為云MRS服務(wù)的呢優(yōu)勢(shì)之四：低成本。MRS它基于了多樣化的云基礎(chǔ)設(shè)施，提供了豐富的計(jì)算、存儲(chǔ)設(shè)施的選擇，也就是說(shuō)MRS它既支持了通用的算力，也支持了鯤鵬算力。第二個(gè)方面是存算分離，提供了低成本的海量數(shù)據(jù)存儲(chǔ)方案。第三個(gè)方面是靈活配置的節(jié)點(diǎn)與磁盤(pán)的規(guī)格。還有它支持按需擴(kuò)容和兼容，支持臨時(shí)集群，作業(yè)運(yùn)行完就可以自動(dòng)銷(xiāo)毀集群，不浪費(fèi)資源。支持自定義策略，集群可以自動(dòng)彈性地伸縮，幫助用戶(hù)節(jié)省了大量數(shù)據(jù)平臺(tái)的閑時(shí)資源。上圖是一個(gè)典型的三個(gè)節(jié)點(diǎn)的集群配置，它的費(fèi)用大概是每小時(shí)3.43元人民幣。

華為云MRS服務(wù)的應(yīng)用場(chǎng)景，以一個(gè)具體的例子去介紹了MRS服務(wù)的應(yīng)用場(chǎng)景，海量數(shù)據(jù)離線(xiàn)分析場(chǎng)景。

在存儲(chǔ)方面，我們可以使用的OBS進(jìn)行進(jìn)行的低成本的存儲(chǔ)。在數(shù)據(jù)分析方面，我們可以利用Hive對(duì)PB和TB的數(shù)據(jù)進(jìn)行分析。另外可視化的導(dǎo)入工具loader可以對(duì)數(shù)據(jù)進(jìn)行可視化的導(dǎo)入，講數(shù)據(jù)導(dǎo)出到DWS，可以存放到了華為云所提供的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)上面完成了BI分析。

下面是華為云MRS服務(wù)的典型應(yīng)用場(chǎng)景的之二：海量數(shù)據(jù)存儲(chǔ)的場(chǎng)景。海量數(shù)據(jù)場(chǎng)景它的主要的應(yīng)用目的是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)了和分析，這里以車(chē)聯(lián)網(wǎng)的應(yīng)用為例，我們需要實(shí)時(shí)性地去采集每臺(tái)車(chē)輛的狀態(tài)信息，我們利用kafka實(shí)現(xiàn)海量汽車(chē)的消息的實(shí)時(shí)導(dǎo)入，導(dǎo)入消息我們才可以采用的HBase進(jìn)行PB級(jí)別的海量數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)毫秒級(jí)的查詢(xún)。另外利用spark實(shí)現(xiàn)了海量數(shù)據(jù)的分析，分析結(jié)果我們可以直接提交給了車(chē)聯(lián)網(wǎng)系統(tǒng)，達(dá)到了準(zhǔn)實(shí)時(shí)的響應(yīng)。

下面是華為云MRS服務(wù)第三個(gè)典型的應(yīng)用場(chǎng)景：低時(shí)延實(shí)施數(shù)據(jù)分析場(chǎng)景，該場(chǎng)景要求能夠?qū)崟r(shí)地對(duì)數(shù)據(jù)進(jìn)行采集，并且實(shí)時(shí)對(duì)采集數(shù)據(jù)來(lái)進(jìn)行分析。在實(shí)時(shí)數(shù)據(jù)采集方面，我們利用Flume的組件實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)采集，F(xiàn)lume它提供豐富的采集和存儲(chǔ)的連接方式。在海量數(shù)據(jù)的接入方面，我們采用kafka實(shí)現(xiàn)萬(wàn)級(jí)別的電梯數(shù)據(jù)的實(shí)時(shí)接入，并且提交給了Storm進(jìn)行了實(shí)時(shí)數(shù)據(jù)的分析，最后分析結(jié)果導(dǎo)入到了梯聯(lián)網(wǎng)系統(tǒng)中。

總結(jié):

本章主要講述了兩個(gè)方面的內(nèi)容，第一個(gè)方面的內(nèi)容是大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)。第二個(gè)方面內(nèi)容華為鯤鵬的大數(shù)據(jù)解決方案。目前大數(shù)據(jù)時(shí)代已經(jīng)進(jìn)入了蓬勃發(fā)展的階段，在大數(shù)據(jù)時(shí)代，所有的生意都是數(shù)據(jù)的生意。大數(shù)據(jù)技術(shù)、分析技術(shù)已經(jīng)在金融、教育、政府、交通規(guī)劃、清潔能源等域有了充分的應(yīng)用。但是大數(shù)據(jù)的發(fā)展也面臨了諸多挑戰(zhàn)。針對(duì)挑戰(zhàn)，華為提出了鯤鵬戰(zhàn)略，基于華為的鯤鵬處理器與泰山服務(wù)器，不斷地提升算力，發(fā)展出華為鯤鵬計(jì)算產(chǎn)業(yè)，基于了華為鯤鵬計(jì)算產(chǎn)業(yè)發(fā)展出了華為鯤鵬生態(tài)，尤其是在大數(shù)據(jù)領(lǐng)域提出來(lái)了多項(xiàng)公有云的服務(wù)。華為致力于讓合作伙伴更快更好地完成智能化轉(zhuǎn)型。

本文整理自華為云社區(qū)【內(nèi)容共創(chuàng)系列】活動(dòng)，

查看活動(dòng)詳情：https://bbs.huaweicloud.com/blogs/314887

相關(guān)任務(wù)詳情：大數(shù)據(jù)發(fā)展趨勢(shì)與鯤鵬大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。