Hadoop學習之MapReduce(四)

接下來是跟MapReduce目錄結構有關的參數。首先看兩個參數，分別為在core-default.xml中定義的hadoop.tmp.dir，其默認值為/tmp/hadoop-${user.name}，另一個為定義在mapred-default.xml中的mapred.local.dir，該參數指定了保存MapReduce中間數據文件的目錄，其默認值為${hadoop.tmp.dir}/mapred/local。在下面的學習中將會直接引用mapred.local.dir。TaskTracker擁有本地目錄，目錄${mapred.local.dir}/taskTracker/用于創建本地緩存和本地作業。可以定義多個本地目錄（分布在多個硬盤上）并且每個文件名被半隨機地分配到本地目錄中。當作業啟動時，TaskTracker創建與本地目錄（該目錄由配置參數指定）相關的本地作業目錄。這樣，TaskTracker目錄結構就像下面描述的：

${mapred.local.dir}/taskTracker/distcache/：所有用戶的作業的公有分布式緩存。該目錄保存本地的公有分布式緩存，這樣本地的公有分布式緩存就可以在所有用戶的所有任務和作業之間共享。

${mapred.local.dir}/taskTracker/$user/distcache/?：特定用戶的作業的私有分布式緩存目錄。該目錄保存本地化的私有分布式緩存，這樣本地的私有分布式緩存在僅在特定用戶的任務和作業之間共享，其他用戶的作業不可以訪問該目錄。

${mapred.local.dir}/taskTracker/$user/jobcache/$jobid/：本地化作業的目錄。

Hadoop MapReduce

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。