国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

CentOS7搭建偽分布式Hadoop(全過程2023)

這篇具有很好參考價值的文章主要介紹了CentOS7搭建偽分布式Hadoop(全過程2023)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

1.配置靜態(tài)ip

2.關閉防火墻

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

3.修改主機名為 master ,并重啟虛擬機

vi /etc/hostname

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

4.修改主機名與ip映射

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

5.設置SSH免密登錄

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

6.安裝配置java環(huán)境

可以使用XFTP,用物理主機鏈接虛擬機的centos傳送java文件,或者直接去java官網(wǎng)下載文件,解壓。配置文件,啟動配置。
驗證java是否配置好
輸入:

java
javac
java -version

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

----------------------正式Hadoop配置

1.移動安裝包到合適位置

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

2.解壓安裝包并重命名

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

3.配置環(huán)境變量

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

4.修改hadoop的核心配置文件:

修改六個配置文件hadoop-env.sh
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

5.啟動與停止Hadoop

5.1NameNode格式化

啟動hadoop之前需要格式化(具體在出現(xiàn)的問題第六點)

5.2啟動、停止HDFS

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
驗證:
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

5.3啟動停止yarn

出現(xiàn)錯誤,解決和驗證見問題8
成功:(到此hadoop安裝配置就完結啦?。?/strong>centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

6.訪問Hadoop

通過web 瀏覽器訪問Hadoop的集群環(huán)境

出現(xiàn)的問題:

1.centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

在/etc目錄下修改sudoers文件,賦予權限。

2.為什么有步驟4

3.

下載hbase.bin.tar.gz(這里下的是2.2.2,因為我的hadoop是3.1.3版本的)
下載地址:https://archive.apache.org/dist/hbase/2.2.2/

4.為什么從8020變成了9000

5.配置完hadoop-env.sh文件后,運行命令:hadoop version

出現(xiàn)報錯:ERROR: /usr/lib/jvm/bin/java is not executable
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

解決:本文件中的路徑要與Java的配置文件(/etc/profile中的完全一致)
解決后,再次運行hadoop version
出現(xiàn)內(nèi)容如下:
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

6.格式化錯誤

WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 無法創(chuàng)建目錄"/usr/local/hadoop/logs": 權限不夠

centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式
命令如下:
centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式

7.報錯:Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.

(還沒去解決)

8.報錯:start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.

解決:
yarn-env.sh文件配置錯誤,java環(huán)境錯誤,要與java_home的完全一致centos7搭建hadoop偽分布集群,Hadoop,hadoop,centos,分布式文章來源地址http://www.zghlxwxcb.cn/news/detail-715866.html

到了這里,關于CentOS7搭建偽分布式Hadoop(全過程2023)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內(nèi)容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • Linux從零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    Linux從零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    和相關配置版本 :Linux CentOS Hadoop Java 版本: CentOS7 Hadoop3.2.0 JDK1.8 虛擬機參數(shù)信息內(nèi)存3.2G、處理器2x2、內(nèi)存50G ISO:CentOS-7-x86_64-DVD-2009.iso 基本主從思路: 先把基礎的設置(SSH、JDK、Hadooop、環(huán)境變量、Hadoop和MapReduce配置信息)在一臺虛擬機(master)上配好,通過

    2024年02月05日
    瀏覽(28)
  • (小白全過程記錄)Ubuntu下偽分布式Hadoop環(huán)境搭建

    (小白全過程記錄)Ubuntu下偽分布式Hadoop環(huán)境搭建

    目錄 0.準備 1.Hadoop偽分布式環(huán)境搭建 2.安裝ssh,配置ssh無密碼登錄 3.通過拖拽的方式將文件從windows傳到linux桌面 5.安裝hadoop 6.修改hadoop環(huán)境變量 7.修改配置文件 core-site.xml 8.修改配置文件hdfs-site.xml文件 9.執(zhí)行NameNode的格式化 10.開啟NameNode和DataNode守護進程 11.訪問web頁面 12.關閉

    2024年02月03日
    瀏覽(27)
  • 大數(shù)據(jù)技術棧-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超詳細-小白注釋版)虛擬機安裝+平臺部署

    目錄 環(huán)境條件: 1、安裝虛擬機(已安裝好虛擬機的可跳轉至? 二、安裝JDK與Hadoop) (1)直接新建一臺虛擬機 (2)首次啟用虛擬機,進行安裝 一、集群前置環(huán)境搭建(三臺機器分別設置hostname、網(wǎng)卡(ip)配置、ssh免密登錄) 1、查看一下本機與虛擬機的網(wǎng)卡和ip信息 (1)

    2024年02月06日
    瀏覽(31)
  • 大數(shù)據(jù)-安裝 Hadoop3.1.3 詳細教程-偽分布式配置(Centos7)

    大數(shù)據(jù)-安裝 Hadoop3.1.3 詳細教程-偽分布式配置(Centos7)

    **相關資源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,請點擊鏈接獲取文件 1.檢查是否安裝ssh (CentOS 7 即使是最小化安裝也已附帶openssh 可跳過本步驟) 若已安裝進行下一步驟 若未安裝 請自行百度 本教程不做過多講解 2.配置ss

    2023年04月08日
    瀏覽(23)
  • centOS 7下Hadoop偽分布式搭建

    centOS 7下Hadoop偽分布式搭建

    記錄筆記,嘗試在centOS下安裝Hadoop偽分布式(之前是在Ubuntu下安裝的),查漏補缺。 步驟 第一步:先把在window系統(tǒng)中下載好的關于Hadoop、jdk壓縮包用Xftp傳輸?shù)絚entos 名稱自定義,主機我寫的是IP地址,需要去centOS的終端輸入ifconfig,劃黃線的是IP地址 ? ?用戶名如果在安裝cent

    2023年04月25日
    瀏覽(18)
  • spark 基于物理機centos7環(huán)境搭建分布式集群

    非生產(chǎn)環(huán)境,就使用一個新一點的版本,提前先踩踩坑,版本的選型真是一個頭疼的問題,先看一下apache的官網(wǎng)的測試圖: 偽分布式看這里: 配置之前:若是用偽分布式時,在本機必須生成key-gen 與ssh-copy-id到本機,且hosts中必須加入127.0.0.1 ?本機名并關閉防火墻這幾步才可

    2024年02月03日
    瀏覽(26)
  • HBase集群搭建記錄 | 云計算[CentOS7] | HBase完全分布式集群搭建

    HBase集群搭建記錄 | 云計算[CentOS7] | HBase完全分布式集群搭建

    本系列文章索引以及一些默認好的條件在 傳送門 默認使用master節(jié)點并用root用戶登錄終端進行操作 文章難免會有點小bug,如果有顯而易見的錯誤,比如沒有創(chuàng)建文件夾時就已經(jīng)開始在該文件夾下操作,還請讀者自行創(chuàng)建~ 官網(wǎng)下載地址 博主因為課程需要以及版本問題,下載的

    2023年04月23日
    瀏覽(31)
  • 搭建Hadoop3.x完全分布式集群(CentOS 9)

    搭建Hadoop3.x完全分布式集群(CentOS 9)

    虛擬機相關: VMware workstation 16:虛擬機 vmware_177981.zip CentOS Stream 9:虛擬機 CentOS-Stream-9-latest-x86_64-dvd1.iso Hadoop相關 jdk1.8:JDK jdk-8u261-linux-x64.tar.gz Hadoop 3.3.6:Hadoop Hadoop 3.3.6.tar.gz 輔助工具 putty:tools putty.exe mtputty:tools mtputty.exe winscp:tools WinSCP-6.3.1-Portable.zip 本文相關資源可以

    2024年04月14日
    瀏覽(32)
  • 基于CentOS 7 的 Hadoop3版本分布式環(huán)境配置搭建

    基于CentOS 7 的 Hadoop3版本分布式環(huán)境配置搭建

    以下是在VMware虛擬機中安裝centos 7去配置hadoop。所以要準備的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本 ? 其實原來的openjdk版本也是可用的,但是hadoop3.x不支持較低版本的jdk,所以這里卸載重新安裝新版本jdk文件

    2024年02月01日
    瀏覽(21)
  • CentOS7安裝Zookeeper分布式集群

    前言 ZooKeeper 是一個開源的分布式協(xié)調(diào)服務框架,主要用于分布式系統(tǒng)中的數(shù)據(jù)同步、配置管理、集群控制和命名服務等方面的處理。本文在3個系統(tǒng)為CentOS7的Linux節(jié)點上配置了Zookeeper分布式集群,安裝配置的過程均在普通用戶 sxZhang 的賬戶上完成,安裝路徑為 ~/bigdata ,3個

    2024年01月17日
    瀏覽(26)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包