国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

頭歌Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)(第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建)

這篇具有很好參考價(jià)值的文章主要介紹了頭歌Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)(第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建)。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

第1關(guān):配置開(kāi)發(fā)環(huán)境 - JavaJDK的配置

第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建

第3關(guān):HDFS系統(tǒng)初體驗(yàn)?

注:

1 頭歌《Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)》三關(guān)在一個(gè)實(shí)驗(yàn)環(huán)境下,需要三關(guān)從前往后按順序評(píng)測(cè),跳關(guān)或者實(shí)驗(yàn)環(huán)境結(jié)束后重新打開(kāi) 不能單獨(dú)評(píng)測(cè)通過(guò)

2 復(fù)制粘貼請(qǐng)用右鍵粘貼,CTRL+C/V不管用哦~

第1關(guān):配置開(kāi)發(fā)環(huán)境 - JavaJDK的配置:

解壓:

mkdir /app
cd /opt
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app

配置環(huán)境變量:

vim /etc/profile

細(xì)節(jié):vi/vim是一個(gè)全屏幕的文本編輯器。輸入i進(jìn)入插入模式(圖1)。?。?!輸入完成后?。?!,我們先按Esc退出,輸入 :wq?(保存退出)然后enter就行了(圖2)。

圖1:

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk

圖2:?

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk

詳細(xì)可看:Linux文本編輯器---vim詳解_llinux vim_賣寂寞的小男孩的博客-CSDN博客

?輸入內(nèi)容如下:輸入位置為文本內(nèi)容末尾另起一行

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

通過(guò)下面的命令行:使上面的配置生效?

source /etc/profile
java -version

評(píng)測(cè)!?

第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建:

cd /opt ll
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
mv hadoop-3.1.0/ hadoop3.1
ssh-keygen -t rsa -P ''
#兩次回車  圖3  圖4

圖3:?

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk圖4:

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

家人們堅(jiān)持住,一大波vim即將來(lái)襲 ?。?!

vim /etc/ssh/sshd_config

RSAAuthentication yes # 啟用 RSA 認(rèn)證
PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公鑰文件路徑
cd /app/hadoop3.1/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/app/jdk1.8.0_171
vim yarn-env.sh

export JAVA_HOME=/app/jdk1.8.0_171

又一大波vim飄過(guò)~~~

插入的內(nèi)容放在兩個(gè)<configuration>中。如下圖:

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk

vim core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系統(tǒng)://namenode標(biāo)識(shí):端口號(hào)</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>namenode上本地的hadoop臨時(shí)文件夾</description>
</property>
vim hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù) </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.2.10:8099</value>
<description>這個(gè)地址是mr管理界面的</description>
</property>

最后一波了,挺?。。?!

將Hadoop添加到環(huán)境變量中并設(shè)置root用戶可以啟動(dòng)hadoop

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name
vim /etc/profile

# 在文件末尾插入下面代碼:
#set Hadoop Environment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
hadoop namenode -format
cd /app/hadoop3.1/sbin

下面的vim均在文件頭部插入。如圖:

頭歌分布式文件系統(tǒng)hdfs,hadoop,hdfs,大數(shù)據(jù),jdk

vim start-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 
vim stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
vim start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
vim stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

原神啟動(dòng),不對(duì)Hadoop啟動(dòng):?

start-dfs.sh
jps

評(píng)測(cè)!

第3關(guān):HDFS系統(tǒng)初體驗(yàn):

start-dfs.sh
hadoop fs -mkdir /task
hadoop fs -ls /
touch task.txt

最后一個(gè)vim了 ,加油!

vim task.txt

hello educoder

?hello educoder輸入完后,退出vim文本編輯器后再輸入下面的內(nèi)容

hadoop fs -put task.txt /task
hadoop fs -cat /task/task.txt

評(píng)測(cè)!

辛苦了家人們,通過(guò)了請(qǐng)點(diǎn)點(diǎn)贊吧(???(?>ω<?)???)?

參考鏈接:http://t.csdn.cn/u6TEi?不過(guò)他沒(méi)我的細(xì)哦(>_<)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-713150.html

到了這里,關(guān)于頭歌Hadoop 開(kāi)發(fā)環(huán)境搭建及HDFS初體驗(yàn)(第2關(guān):配置開(kāi)發(fā)環(huán)境 - Hadoop安裝與偽分布式集群搭建)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 【前端開(kāi)發(fā)環(huán)境安裝、配置、項(xiàng)目搭建全教程】

    【前端開(kāi)發(fā)環(huán)境安裝、配置、項(xiàng)目搭建全教程】

    簡(jiǎn)單的說(shuō) Node.js 就是運(yùn)行在服務(wù)端的 JavaScrip,基于 Chrome JavaScript 運(yùn)行時(shí)建立的一個(gè)平臺(tái),Node.js 是一個(gè)事件驅(qū)動(dòng) I/O 服務(wù)端 JavaScript 環(huán)境,基于 Google 的 V8 引擎,V8 引擎執(zhí)行 Javascript 的速度非常快,性能非常好。 1.node.js官網(wǎng)下載:下載地址 2.依據(jù)自己電腦Windows、macOS選擇安裝

    2024年03月13日
    瀏覽(45)
  • 【運(yùn)維】hadoop 集群安裝(三)hdfs、yarn集群配置、nodemanager健康管理講解

    上篇簡(jiǎn)單說(shuō)明了多節(jié)點(diǎn)的hadoop節(jié)點(diǎn)怎么安裝,但是沒(méi)有細(xì)致的分析hadoop相關(guān)配置,具體怎么根據(jù)環(huán)境進(jìn)行配置,接下來(lái)我們對(duì)這些配置進(jìn)行講解 Daemon Environment Variable NameNode HDFS_NAMENODE_OPTS DataNode HDFS_DATANODE_OPTS Secondary NameNode HDFS_SECONDARYNAMENODE_OPTS ResourceManager YARN_RESOURCEMANAGER_OP

    2024年02月10日
    瀏覽(19)
  • Vue3安裝配置、開(kāi)發(fā)環(huán)境搭建(組件安裝卸載)(圖文詳細(xì))

    Vue3安裝配置、開(kāi)發(fā)環(huán)境搭建(組件安裝卸載)(圖文詳細(xì))

    本文目錄: 一、vue的主要安裝使用方式 二、node.js安裝和配置 1、支持運(yùn)行 Node.js的平臺(tái) 2、Node.js 版本開(kāi)發(fā)發(fā)布時(shí)間表(日期可能會(huì)有變化) 3、下載安裝node.js 4、node.js環(huán)境配置 (1)、檢查node 和npm版本信息 (2)、配置npm下載時(shí)的默認(rèn)安裝目錄和緩存日志目錄 (3)、npm配置

    2024年02月04日
    瀏覽(22)
  • PyCharm 開(kāi)發(fā)環(huán)境搭建指南:安裝、配置及基礎(chǔ)使用教程

    PyCharm 開(kāi)發(fā)環(huán)境搭建指南:安裝、配置及基礎(chǔ)使用教程

    數(shù)據(jù)來(lái)源 Pycharm集成開(kāi)發(fā)工具(DE),是當(dāng)下全球Pthn開(kāi)發(fā)者, 使用最頻繁的工具軟件 。 絕大多數(shù)的 Python程序,都是在 Pycharm工具內(nèi)完成的開(kāi)發(fā)。 Pycharm工具下載 首先,我們先下載并安裝它:打開(kāi)網(wǎng)站:下載PyCharm:JetBrains為專業(yè)開(kāi)發(fā)者提供的Python IDE? 迅雷下載: https://download.

    2024年04月17日
    瀏覽(30)
  • Hadoop集群環(huán)境配置搭建

    Hadoop集群環(huán)境配置搭建

    Hadoop最早誕生于Cutting于1998年左右開(kāi)發(fā)的一個(gè)全文文本搜索引擎 Lucene,這個(gè)搜索引擎在2001年成為Apache基金會(huì)的一個(gè)子項(xiàng)目,也是 ElasticSearch等重要搜索引擎的底層基礎(chǔ)。 項(xiàng)目官方:https://hadoop.apache.org/ 首先準(zhǔn)備三臺(tái)Linux服務(wù)器,預(yù)裝CentOS7。三臺(tái)服務(wù)器之間需要網(wǎng)絡(luò)互通。本地

    2024年02月03日
    瀏覽(23)
  • Hadoop 運(yùn)行環(huán)境搭建(開(kāi)發(fā)重點(diǎn))

    Hadoop 運(yùn)行環(huán)境搭建(開(kāi)發(fā)重點(diǎn))

    將 hadoop 的安裝包和 jdk 的安裝包,上傳到 hadoop102 的 /opt/software 目錄下 輸入命令: tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/ 將jdk壓縮包解壓到 /opt 目錄下 輸入命令: mv jdk1.8.0_212/ jdk1.8 包的名字太長(zhǎng)了我們給他改成 jdk1.8 然后接下來(lái),配置jdk的環(huán)境變量 輸入命令: vim /etc/profile 添

    2024年02月07日
    瀏覽(22)
  • 【Python入門(mén)篇】Python開(kāi)發(fā)環(huán)境的搭建——安裝和配置PyCharm工具

    【Python入門(mén)篇】Python開(kāi)發(fā)環(huán)境的搭建——安裝和配置PyCharm工具

    作者簡(jiǎn)介: 辭七七,目前大一,正在學(xué)習(xí)C/C++,Java,Python等 作者主頁(yè): 七七的個(gè)人主頁(yè) 文章收錄專欄: Python入門(mén),本專欄主要內(nèi)容為Python的基礎(chǔ)語(yǔ)法,Python中的選擇循環(huán)語(yǔ)句,Python函數(shù),Python的數(shù)據(jù)容器等。 歡迎大家點(diǎn)贊 ?? 收藏 ? 加關(guān)注哦!???? Python程序的開(kāi)發(fā)有

    2024年02月04日
    瀏覽(93)
  • 【大數(shù)據(jù)實(shí)訓(xùn)】—Hadoop開(kāi)發(fā)環(huán)境搭建(一)

    【大數(shù)據(jù)實(shí)訓(xùn)】—Hadoop開(kāi)發(fā)環(huán)境搭建(一)

    本關(guān)任務(wù):配置JavaJDK。 相關(guān)知識(shí) 配置開(kāi)發(fā)環(huán)境是我們學(xué)習(xí)一門(mén)IT技術(shù)的第一步,Hadoop是基于Java開(kāi)發(fā)的,所以我們學(xué)習(xí)Hadoop之前需要在Linux系統(tǒng)中配置Java的開(kāi)發(fā)環(huán)境。 下載JDK 前往Oracle的官網(wǎng)下載JDK:點(diǎn)我前往Oracle的官網(wǎng)下載JDK 我們可以先下載到本地,然后從Windows中將文件傳

    2024年02月06日
    瀏覽(30)
  • Windows 11 本地 php 開(kāi)發(fā)環(huán)境搭建:PHP + Apache + MySQL +VSCode 安裝和環(huán)境配置

    Windows 11 本地 php 開(kāi)發(fā)環(huán)境搭建:PHP + Apache + MySQL +VSCode 安裝和環(huán)境配置

    最近有空整理一下php 在windows上面的環(huán)境配置。原因是發(fā)現(xiàn)網(wǎng)上大多數(shù)php環(huán)境配置的相關(guān)帖子內(nèi)容凌亂、多數(shù)是不能配置成功的。所以決定全部走一遍配置,以確保整個(gè)過(guò)程是成功的。并在此基礎(chǔ)上開(kāi)個(gè)帖子記錄下這個(gè)完整的安裝和配置過(guò)程,以備忘和供有需要的同學(xué)參考。

    2024年04月26日
    瀏覽(37)
  • 大數(shù)據(jù)開(kāi)源框架環(huán)境搭建(四)——HDFS完全分布式集群的安裝部署

    大數(shù)據(jù)開(kāi)源框架環(huán)境搭建(四)——HDFS完全分布式集群的安裝部署

    前言:本實(shí)驗(yàn)的所有路徑均為本人計(jì)算機(jī)路徑,有些路徑需要看自己的,跟著我的一起做最好。普通用戶下大部分命令需要加sudo,root模式下不用。如果怕麻煩,直接在root用戶下操作。 目錄 實(shí)驗(yàn)環(huán)境: 實(shí)驗(yàn)步驟: 一、配置NAT網(wǎng)絡(luò)?,分配靜態(tài)IP地址 1.打開(kāi)VMware,選擇編輯,

    2024年02月05日
    瀏覽(37)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包