Hadoop應用實戰100講（一）-Hadoop進行文件壓縮

前言

在集群中大規模的數據的轉換與傳輸是一項艱巨的任務，而Hadoop自帶一套特有的文件I/O系統，使得這項艱巨的任務變得簡單。

以下是我為大家準備的幾個精品專欄，喜歡的小伙伴可自行訂閱，你的支持就是我不斷更新的動力喲！

MATLAB-30天帶你從入門到精通

MATLAB深入理解高級教程（附源碼）

tableau可視化數據分析高級教程

1.壓縮

Hadoop文件數據存取與計算需要集群中眾多的節點，通過網絡連接方式進行相互協作完成作業，節點間的數據采用壓縮形式進行傳輸，這樣可以減少存儲文件所需的磁盤空間，而且可以加數據在網絡和磁盤上的傳輸。

壓縮類型，在采用壓縮算法傳輸數據前，需要考慮的問題是Hadoop需要能夠辨識壓縮算法計算后的文件，依據業務需求考慮壓縮算法的空間占比的均衡。

DEFLATE是同時使用了LZ77算法和哈夫曼編碼是一個無損數據壓縮算法。它最初是是由菲爾.卡茨為他的PKZIP軟件

Hadoop

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。