《Hadoop權(quán)威指南：大數(shù)據(jù)的存儲與分析》—5.1.3 ChecksumFileSystem

5.1.3? ChecksumFileSystem

LocalFileSystem通過ChecksumFileSystem來完成自己的任務(wù)，有了這個(gè)類，向其他文件系統(tǒng)(無校驗(yàn)和系統(tǒng))加入校驗(yàn)和就非常簡單，因?yàn)镃hecksumFileSystem類繼承自FileSystem類。一般用法如下：

FileSystem rawFs = ...

FileSystem checksummedFs = new ChecksumFileSystem(rawFs);

底層文件系統(tǒng)稱為“源”(raw)文件系統(tǒng)，可以使用ChecksumFileSystem實(shí)例的getRawFileSystem()方法獲取它。ChecksumFileSystem類還有其他一些與校驗(yàn)和有關(guān)的有用方法，比如getChecksumFile()可以獲得任意一個(gè)文件的校驗(yàn)和文件路徑。請參考文檔了解其他方法。

如果ChecksumFileSystem類在讀取文件時(shí)檢測到錯(cuò)誤，會(huì)調(diào)用自己的reportChecksumFailure()方法。默認(rèn)實(shí)現(xiàn)為空方法，但LocalFileSystem類會(huì)將這個(gè)出錯(cuò)的文件及其校驗(yàn)和移到同一存儲設(shè)備上一個(gè)名為bad_files的邊際文件夾(side directory)中。管理員應(yīng)該定期檢查這些壞文件并采取相應(yīng)的行動(dòng)。

大數(shù)據(jù) Hadoop

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。