第1關(guān):配置開(kāi)發(fā)環(huán)境 - JavaJDK的配置
第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建
第3關(guān):HDFS系統(tǒng)初體驗(yàn)?
注:
1 頭歌《Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)》三關(guān)在一個(gè)實(shí)驗(yàn)環(huán)境下,需要三關(guān)從前往后按順序評(píng)測(cè),跳關(guān)或者實(shí)驗(yàn)環(huán)境結(jié)束后重新打開(kāi) 不能單獨(dú)評(píng)測(cè)通過(guò)
2 復(fù)制粘貼請(qǐng)用右鍵粘貼,CTRL+C/V不管用哦~
第1關(guān):配置開(kāi)發(fā)環(huán)境 - JavaJDK的配置:
解壓:
mkdir /app
cd /opt
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app
配置環(huán)境變量:
vim /etc/profile
細(xì)節(jié):vi/vim是一個(gè)全屏幕的文本編輯器。輸入i進(jìn)入插入模式(圖1)。?。?!輸入完成后?。?!,我們先按Esc退出,輸入 :wq?(保存退出)然后enter就行了(圖2)。
圖1:
圖2:?
詳細(xì)可看:Linux文本編輯器---vim詳解_llinux vim_賣寂寞的小男孩的博客-CSDN博客
?輸入內(nèi)容如下:輸入位置為文本內(nèi)容末尾另起一行
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
通過(guò)下面的命令行:使上面的配置生效?
source /etc/profile
java -version
評(píng)測(cè)!?
第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建:
cd /opt ll
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
mv hadoop-3.1.0/ hadoop3.1
ssh-keygen -t rsa -P ''
#兩次回車 圖3 圖4
圖3:?
圖4:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
家人們堅(jiān)持住,一大波vim即將來(lái)襲 ?。?!
vim /etc/ssh/sshd_config
RSAAuthentication yes # 啟用 RSA 認(rèn)證
PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公鑰文件路徑
cd /app/hadoop3.1/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/app/jdk1.8.0_171
vim yarn-env.sh
export JAVA_HOME=/app/jdk1.8.0_171
又一大波vim飄過(guò)~~~
插入的內(nèi)容放在兩個(gè)<configuration>中。如下圖:
vim core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系統(tǒng)://namenode標(biāo)識(shí):端口號(hào)</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>namenode上本地的hadoop臨時(shí)文件夾</description>
</property>
vim hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù) </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.2.10:8099</value>
<description>這個(gè)地址是mr管理界面的</description>
</property>
最后一波了,挺?。。?!
將Hadoop添加到環(huán)境變量中并設(shè)置root
用戶可以啟動(dòng)hadoop
mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name
vim /etc/profile
# 在文件末尾插入下面代碼:
#set Hadoop Environment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
hadoop namenode -format
cd /app/hadoop3.1/sbin
下面的vim均在文件頭部插入。如圖:
vim start-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
vim stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
原神啟動(dòng),不對(duì)Hadoop啟動(dòng):?
start-dfs.sh
jps
評(píng)測(cè)!
第3關(guān):HDFS系統(tǒng)初體驗(yàn):
start-dfs.sh
hadoop fs -mkdir /task
hadoop fs -ls /
touch task.txt
最后一個(gè)vim了 ,加油!
vim task.txt
hello educoder
?hello educoder輸入完后,退出vim文本編輯器后再輸入下面的內(nèi)容
hadoop fs -put task.txt /task
hadoop fs -cat /task/task.txt
評(píng)測(cè)!
辛苦了家人們,通過(guò)了請(qǐng)點(diǎn)點(diǎn)贊吧(???(?>ω<?)???)?文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-713150.html
參考鏈接:http://t.csdn.cn/u6TEi?不過(guò)他沒(méi)我的細(xì)哦(>_<)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-713150.html
到了這里,關(guān)于頭歌Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)(第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!