《企業級大數據平臺構建：架構與實現》——1.5　本章小結

1.5　本章小結

通過本章的介紹，我們了解到了在一個企業之中，如果缺乏統一的大數據平臺會出現的諸多問題，例如資源浪費、數據孤島、服務孤島和安全隱患等。那么，如果能夠化零為整，在企業內部從宏觀、整體的角度設計和實現一個統一的大數據平臺，通過引入單一集群架構的概念去整合資源與服務，就能解決上述的種種問題，從而能夠體現諸如資源共享、數據共享和服務共享的優勢。

為了落實這樣一個統一的大數據平臺，我提出了一些平臺應該具備的最基本的能力需求。

數據接入：在大數據的應用領域，自始至終都是圍繞著數據在做文章。所以首先需要面對的是如何把海量數據接入到平臺的問題。結合大數據來源多、類型雜、體量大的特征，可以得知大數據平臺需要能夠對接各種來源和各種類型的海量數據。

數據存儲與查詢：在數據接入進來之后，就需要開始考慮如何將數據持久化存儲并提供數據查詢能力的問題了。為了應對不同的業務場景，平臺需要提供多種不同的存儲媒介以滿足千奇百怪的存儲與查詢需求，所以平臺需要提供諸如關系型模型、非關系型模型以及文檔模型的存儲系統。

數據計算：在數據接入并存儲下來之后，還需對數據進行進一步的加工、分析和挖掘，這就是數據計算的范疇了。這里包括離線批處理、實時計算、機器學習、多維分析和全文搜索等場景。

平臺安全與管理：作為一個企業級大數據平臺產品，安全問題自然不容小視。平臺需要解決諸如用戶管理、數據隔離與訪問授權、訪問控制和集群服務安全等問題。

平臺輔助工具：大數據領域相比傳統的企業及應用，在平臺運維和程序研發等方面都顯得更為復雜和困難。所以為了提高平臺的易用性并降低平臺的使用門檻，這里還需要提供一些平臺的輔助工具，諸如程序開發套件、任務管理與調度系統、自助式數據探索分析系統等。

在下一章中，我們會了解到基于Hadoop生態體系去搭建一個具備上述能力的企業級大數據平臺所需要用到的技術棧。

數據接入服務 DIS 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。