大數(shù)據(jù)開(kāi)發(fā)崗面試復(fù)習(xí)30天沖刺 - 日積月累，每日五題【Day01】——Hadoop和Linux

前言

大家好，我是程序員manor。作為一名大數(shù)據(jù)專業(yè)學(xué)生、愛(ài)好者，深知面試重要性，正值金三銀四的春招

接下來(lái)我準(zhǔn)備用30天時(shí)間，基于大數(shù)據(jù)開(kāi)發(fā)崗面試中的高頻面試題，以每日5題的形式，帶你過(guò)一遍常見(jiàn)面試題及恰如其分的解答。

相信只要一路走來(lái)，日積月累，我們終會(huì)在最高處見(jiàn)。

以古人的話共勉：道阻且長(zhǎng)，行則將至；行而不輟，未來(lái)可期！

Hadoop相關(guān)總結(jié)

1.2.1 Hadoop常用端口號(hào)

?dfs.namenode.http-address:50070

?dfs.datanode.http-address:50075

?SecondaryNameNode輔助名稱節(jié)點(diǎn)端口號(hào)：50090

?dfs.datanode.address:50010

?fs.defaultFS:8020 或者9000

?yarn.resourcemanager.webapp.address:8088

?歷史服務(wù)器web訪問(wèn)端口：19888

1.2.2 Hadoop配置文件以及簡(jiǎn)單的Hadoop集群搭建

（1）配置文件：

core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves

（2）簡(jiǎn)單的集群搭建過(guò)程：

JDK安裝

配置SSH免密登錄

配置hadoop核心文件:

格式化namenode

Linux&Shell相關(guān)總結(jié)

1.1.1 Linux常用命令

序號(hào) 命令 命令解釋

1 top 查看內(nèi)存

2 df -h 查看磁盤(pán)存儲(chǔ)情況

3 iotop 查看磁盤(pán)IO讀寫(xiě)(yum install iotop安裝）

4 iotop -o 直接查看比較高的磁盤(pán)讀寫(xiě)程序

5 netstat -tunlp | grep 端口號(hào) 查看端口占用情況

6 uptime 查看報(bào)告系統(tǒng)運(yùn)行時(shí)長(zhǎng)及平均負(fù)載

7 ps aux 查看進(jìn)程

1.1.2 Shell常用工具

awk、sed、cut、sort

總結(jié)

今天我們復(fù)習(xí)了面試中常考的Hadoop和Linux相關(guān)的五個(gè)問(wèn)題，你做到心中有數(shù)了么？

其實(shí)做這個(gè)專欄我也有私心，就是希望借助每天寫(xiě)一篇面試題，督促自己學(xué)習(xí)，以免在面試期間尷尬！平時(shí)不流汗,面試多流淚!

對(duì)了，如果你的朋友也在準(zhǔn)備面試，請(qǐng)將這個(gè)系列扔給他，

好了，今天就到這里，學(xué)廢了的同學(xué)，記得在評(píng)論區(qū)留言：打卡。給同學(xué)們以激勵(lì)。

Hadoop Linux 大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。