《從零開始學Hadoop大數據分析（視頻教學版）》 —3 Hadoop分布式文件系統

第3章

Hadoop分布式文件系統

隨著互聯網的發展，日常生活和工作中的數據量越來越大，文件和數據被越來越多地存儲到系統管理的磁盤中，單臺機器已經不能滿足大量的文件存儲需求，迫切需要一種允許多機器上的多用戶通過網絡分享文件和存儲空間的文件管理系統，這就是分布式文件系統。

分布式文件管理系統有很多，如DFS和HDFS，而HDFS適用于一次寫入、多次查詢的情況。本章我們將詳細介紹DFS和HDFS。

本章主要涉及如下知識點。

* DFS基礎知識。

* HDFS和DFS的關系，HDFS的設計和優缺點，以及HDFS的讀寫文件流程。

* 學會基于Shell的操作和基于Java API操作HDFS。

3.1? DFS介紹

由于一臺機器的存儲容量有限，一旦數據量達到足夠的級別，就需要將數據存放在多臺機器上，這就是分布式文件系統，又稱之為DFS（Distributed File System）。

DFS是HDFS的基礎，本節將簡單講解一下什么是DFS及DFS的結構，隨后引出Hadoop的核心組件HDFS。

3.1.1? 什么是DFS

分布式文件系統DFS是基于Master/Slave模式，通常一個分布式文件系統提供多個供用戶訪問的服務器，一般都會提供備份和容錯的功能。分布式文件系統管理的物理資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連，而非文件系統管理的物理存儲資源一定直接連在本地節點上。

分布式 視頻 Hadoop

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。