国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

centos7安裝hadoop 單機版

2年前作者：jmzcc分類：Toy博客閱讀(26)違法舉報

這篇具有很好參考價值的文章主要介紹了centos7安裝hadoop 單機版。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

1.解壓

（1）將hadoop壓縮包復(fù)制到/opt/software路徑下

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（2）解壓hadoop到/opt/module目錄下

[root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（3）修改hadoop屬主和屬組

[root@kb135 module]# chown -R root:root ./hadoop-3.1.3/

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

2.配置環(huán)境變量

[root@kb135 module]# vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

修改完之后[root@kb135 module]# source /etc/profile

3.在hadoop目錄創(chuàng)建data目錄

[root@kb135 module]# cd ./hadoop-3.1.3/

創(chuàng)建目錄data

[root@kb135 hadoop-3.1.3]# mkdir ./data

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

4.修改配置文件

進(jìn)入/opt/module/hadoop-3.1.3/etc/hadoop目錄，查看目錄下的文件，配置幾個必要的文件

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（1）配置core-site.xml

[root@kb135 hadoop]# vim ./core-site.xml

??? <property>

????? <name>fs.defaultFS</name>

????? <value>hdfs://kb135:9000</value>

??? </property>

??? <property>

????? <name>hadoop.tmp.dir</name>

????? <value>/opt/module/hadoop-3.1.3/data</value>

??? </property>

??? <property>

????? <name>hadoop.http.staticuser.user</name>

?? ???<value>root</value>

??? </property>

??? <property>

????? <name>io.file.buffer.size</name>

????? <value>131073</value>

??? </property>

??? <property>

????? <name>hadoop.proxyuser.root.hosts</name>

????? <value>*</value>

??? </property>

??? <property>

????? <name>hadoop.proxyuser.root.groups</name>

????? <value>*</value>

??? </property>

?</configuration>

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（2）配置hadoop-env.sh

[root@kb135 hadoop]# vim ./hadoop-env.sh

修改第54行

export JAVA_HOME=/opt/module/jdk1.8.0_381

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（3）配置hdfs-site.xml

[root@kb135 hadoop]# vim ./hdfs-site.xml

?? <property>

???? <name>dfs.replication</name>

???? <value>1</value>

?? </property>

?? <property>

???? <name>dfs.namenode.name.dir</name>

???? <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>

?? </property>

?? <property>

???? <name>dfs.datanode.data.dir</name>

???? <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>

?? </property>

?? <property>

???? <name>dfs.permissions.enabled</name>

???? <value>false</value>

?? </property>

</configuration>

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（4）配置mapred-site.xml

[root@kb135 hadoop]# vim ./mapred-site.xml

??? <property>

????? <name>mapreduce.framework.name</name>

????? <value>yarn</value>

??? </property>

??? <property>

????? <name>mapreduce.jobhistory.address</name>

????? <value>kb135:10020</value>

??? </property>

??? <property>

????? <name>mapreduce.jobhistory.webapp.address</name>

????? <value>kb135:19888</value>

??? </property>

??? <property>

????? <name>mapreduce.map.memory.mb</name>

????? <value>2048</value>

??? </property>

??? <property>

????? <name>mapreduce.reduce.memory.mb</name>

????? <value>2048</value>

??? </property>

??? <property>

????? <name>mapreduce.application.classpath</name>

? ????<value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*</value>

??? </property>

</configuration>

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（5）配置yarn-site.xml

[root@kb135 hadoop]# vim ./yarn-site.xml

?? <property>

???? <name>yarn.resourcemanager.connect.retry-interval.ms</name>

???? <value>20000</value>

?? </property>

?? <property>

???? <name>yarn.resourcemanager.scheduler.class</name>

???? <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.localizer.address</name>

???? <value>kb135:8040</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.address</name>

???? <value>kb135:8050</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.webapp.address</name>

???? <value>kb135:8042</value>

?? </property>

? <property>

???? <name>yarn.nodemanager.aux-services</name>

???? <value>mapreduce_shuffle</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.local-dirs</name>

???? <value>/opt/module/hadoop-3.1.3/yarndata/yarn</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.log-dirs</name>

???? <value>/opt/module/hadoop-3.1.3/yarndata/log</value>

?? </property>

?? <property>

???? <name>yarn.nodemanager.vmem-check-enabled</name>

???? <value>false</value>

?? </property>

</configuration>

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

（6）配置workers

[root@kb135 hadoop]# vim ./workers

修改為kb135

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

5.初始化hadoop

進(jìn)入/opt/module/hadoop-3.1.3/bin路徑

[root@kb135 bin]# hadoop namenode -format

6.設(shè)置免密登錄

[root@kb135 ~]# ssh-keygen -t rsa -P ""

[root@kb135 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

[root@kb135 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb135

7.啟動hadoop

[root@kb135 ~]# start-all.sh

查看進(jìn)程

[root@kb135 ~]# jps

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java

8.測試

網(wǎng)頁中輸入網(wǎng)址：http://192.168.142.135:9870/

centos7安裝hadoop 單機版,hadoop,大數(shù)據(jù),linux,centos,java 文章來源地址http://www.zghlxwxcb.cn/news/detail-669890.html

到了這里，關(guān)于centos7安裝hadoop 單機版的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

23年hadoop單機版+hive
工作需要研究hive功能，線上環(huán)境不能動，搭建單機版hadoop+hive測試環(huán)境，使用當(dāng)前最新hadoop 3.3.6+ hive 3.1.3。大數(shù)據(jù)博客列表開發(fā)記錄匯總個人java工具庫項目https://gitee.com/wangzonghui/object-tool 包含json、string、集合、excel、zip壓縮、pdf、bytes、http等多種工具，歡迎使用。系統(tǒng)環(huán)
2024年02月12日
瀏覽(19)
最新版本——Hadoop3.3.6單機版完全部署指南
大家好，我是獨孤風(fēng)，大數(shù)據(jù)流動的作者。本文基于最新的 Hadoop 3.3.6 的版本編寫，帶大家通過單機版充分了解 Apache Hadoop 的使用。本文更強調(diào)實踐，實踐是大數(shù)據(jù)學(xué)習(xí)的重要環(huán)節(jié)，也能在實踐中對該技術(shù)有更深的理解，所以一些理論知識建議大家多閱讀相關(guān)的書籍（都在資
2024年02月03日
瀏覽(44)
hadoop3.3.1單機版環(huán)境搭建詳細(xì)流程記錄
安裝vim即可；按“o”進(jìn)入編輯模式；編輯完內(nèi)容后，“esc”--“:”--\\\"wq\\\"--回車，執(zhí)行保存并退出。點\\\"i\\\"或者\\\"o\\\"進(jìn)入編輯模式；編輯完后，點\\\"Esc\\\"--\\\":\\\"--\\\"wq\\\"，回車，保存退出。生成公鑰和私鑰；（一直點下去即可）授權(quán)是單向的； 8.1、方法一：進(jìn)入 ~/.ssh 目錄下，查看生成
2024年02月09日
瀏覽(21)
CentOS 7 部署 Nacos-2.3.0 （單機版）
歷史版本：https://github.com/alibaba/nacos/releases/ 我選的是 2.3.0 版本，https://github.com/alibaba/nacos/releases/download/2.3.0/nacos-server-2.3.0.tar.gz 單機部署: 將下載安裝包上傳至 /usr/local 目錄下并解壓：進(jìn)入解壓后目錄： /usr/local/nacos ，出現(xiàn)如下：自行安裝好 MySQL8.0 進(jìn)入 /usr/local/nacos/bin 目
2024年01月17日
瀏覽(21)
HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 單機版standalone模式（詳細(xì)安裝+配置+增刪改查測試腳本）（附開源鏡像站地址）
HBase的官網(wǎng) 內(nèi)容還是挺多的，下載安裝包還是使用清華大學(xué)開源軟件鏡像站會快一些 ?? 本文的安裝文件為：hbase-2.4.5-bin.tar.gz HBase 是一個構(gòu)建在 Hadoop 文件系統(tǒng)之上的面向列的數(shù)據(jù)庫管理系統(tǒng)。運行時不僅需要 Hadoop 還依賴 JDK 環(huán)境，HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需
2024年04月11日
瀏覽(19)
Docker Compose安裝milvus向量數(shù)據(jù)庫單機版-milvus基本操作
以管理員身份運行powershell Ubuntu 22.04 LTS可以不裝，wsl必須更新。。。如果操作超時，可以試試開代理。重啟電腦。。。設(shè)置用戶名、密碼 https://hub.docker.com/ 重啟電腦。。。 power shell輸入以下命令，下載yaml文件到指定目錄，并重命名為docker-compose.yml 或者點擊一下鏈接直接
2024年01月19日
瀏覽(23)
安裝配置 zookeeper（單機版）
目錄一準(zhǔn)備并解壓安裝包二?修改zoo.cfg文件三?創(chuàng)建相應(yīng)兩個目錄四創(chuàng)建文件myid? 五修改環(huán)境變量六啟動 zookeeper ????????這里提供了網(wǎng)盤資源 ?http://鏈接: https://pan.baidu.com/s/1BybwSQ_tQUL23OI6AWxwFw?pwd=d4cf ????????提取碼: d4cf ? ? ? ? 這里的安裝包是放在/opt/install 目
2024年02月08日
瀏覽(25)
docker 安裝zookeeper單機版
1. 安裝版本3.5.7 ,? 也可以自己去官網(wǎng)找到自己需要的版本復(fù)制命令即可 ?? https://hub.docker.com/_/zookeeper/tags ? 2. 創(chuàng)建映射文件夾： ??? ? ?3. docker命令創(chuàng)建容器： ??? 4.centos 打開防火墻2181端口，如果是云服務(wù)器的話，阿里云控制臺打開云服務(wù)器2181端口就可以了。 5. 下載客
2024年02月13日
瀏覽(28)
HBase單機版安裝詳細(xì)步驟
目錄一、安裝HBase前置環(huán)境 1.jdk 2.hadoop 3.zookeeper 二、安裝HBase步驟 (一)解壓 (二)修改文件名 (三)修改配置文件 (四)配置HBase的環(huán)境變量 (五)啟動HBase 1.啟動hadoop 2.啟動zookeeper 3.啟動hbase 4.jps出現(xiàn)HMaster和HRegionServer 5.HBase的WebUI (六)HBase的邏輯結(jié)構(gòu)： (七)HBase基本命令? 1.進(jìn)入HBase
2024年02月07日
瀏覽(22)
Nacos單機版安裝啟動流程
安裝地址：https://github.com/alibaba/nacos/ 1、選擇自己需要的版本 ?2、選擇自己的環(huán)境下在對應(yīng)的壓縮包 ?3、下載后放到自己的文件目錄中解壓 4、window環(huán)境修改startup.cmd文件，改為單機部署后，就可以直接點擊cmd文件直接啟動了 mac通過終端進(jìn)入cd ～/nacos/bin?目錄下，通過命令?
2024年02月11日
瀏覽(27)