《Hadoop大數(shù)據(jù)技術(shù)》實驗報告（1）
班級 學號 姓名
Hadoop的偽分布式安裝和配置
一、實驗目的
1、理解Hadoop偽分布式的安裝過程；
2、學會JDK的安裝和SSH免密碼配置；
3、學會Hadoop的偽分布式安裝和配置。
二、實驗內(nèi)容
在linux平臺中安裝Hadoop，包括JDK安裝、SSH免密碼配置和偽分布式安裝。
三、實驗過程
（一）、Java JDK的安裝
1、將JDK解壓到“/software”目錄下。
tar –zxvf jdk-8u161-linux-x64.tar.gz
2、在/etc/profile中配置JAVA_HOME和PATH環(huán)境變量。
查看jdk所在絕對路徑
進入配置Vim/etc/profile
3、使環(huán)境變量生效并檢查
source/etc/profile
（二）、SSH免密碼配置
1.先進入到ssh目錄，命令如下：
cd~/.ssh/
2.利用 ssh-keygent 生成(非對稱加密)密鑰
ssh-keygen -t rsa
3.將密鑰加入到授權(quán)中
cat ./id_rsa.pub >> ./authorized_keys
4.執(zhí)行 「ssh localhost」命令，即可免密登錄
（三）、hadoop的偽分布式安裝和配置
1.下載好了的hadoop包解壓
進入目標目錄：cd software
解壓tar -zxvf hadoop -3.2.0.tar.gz
2.將Hadoop文件名改變便于后期環(huán)境配置
3.配置Hadoop環(huán)境變量
Vim /etc/profile
刷新變量source /etc/profile
4.配置hadoop的配置文件
1)cd $HADOOP_HOME/etc/Hadoop
vim hadoop-env.sh
-
vim core-site.xml
3)vim hdfs-site.xml
5.完成配置執(zhí)行 NameNode 的格式化:
cd /home/hadoop/software/hadoop
./bin/hdfs namenode -format
6.試運行Hadoop
1)開啟 NameNode 和 DataNode 守護進程。
cd /home/hadoop/software/hadoop
./sbin/start-dfs.sh
#start-dfs.sh是個完整的可執(zhí)行文件，中間沒有空格
2)出現(xiàn)錯誤，解決方案
cd /home/hadoop/software/Hadoop
vim hadoop-env.sh
添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
4） 錯誤WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
vim ~/.bashrc
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native
source ~/.bashrc
3）錯誤Permanently added (ECDSA) to the list of known hosts
vim etc/ssh/ssh_config
#StrictHostKeyChecking ask去掉注釋，并改為no
7.驗證 Hadoop 啟動完成后，可以通過命令 jps 來判斷是否成功啟動
8.關(guān)閉 Hadoop文章來源：http://www.zghlxwxcb.cn/news/detail-421986.html
./sbin/stop-dfs.sh
文章來源地址http://www.zghlxwxcb.cn/news/detail-421986.html
到了這里，關(guān)于《Hadoop大數(shù)據(jù)技術(shù)》實驗報告（1）Hadoop的偽分布式安裝和配置的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
