国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

這篇具有很好參考價(jià)值的文章主要介紹了云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

參考資料為:

教材代碼-林子雨編著《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程(第2版)》教材所有章節(jié)代碼_廈大數(shù)據(jù)庫(kù)實(shí)驗(yàn)室博客

1.實(shí)驗(yàn)學(xué)時(shí)

4學(xué)時(shí)

2.實(shí)驗(yàn)?zāi)康?/strong>

  • 熟悉Hadoop系統(tǒng)的安裝
  • 掌握Hadoop系統(tǒng)的兩種安裝方式
  • 掌握Hadoop系統(tǒng)的基本命令

3.實(shí)驗(yàn)內(nèi)容

  • 安裝虛擬機(jī)和Linux環(huán)境。

虛擬機(jī)安裝完畢:

已經(jīng)改變虛擬機(jī)網(wǎng)絡(luò)連接方式為橋接網(wǎng)絡(luò),使用手機(jī)熱點(diǎn)連接計(jì)算機(jī)

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

環(huán)境為L(zhǎng)inux系統(tǒng)

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

(二)參照實(shí)驗(yàn)指南的內(nèi)容安裝Hadoop系統(tǒng),安裝單機(jī)模式。

按照書(shū)上之前的配置,已經(jīng)安裝hadoop.

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

?云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

按照命令查看hadoop的例子

書(shū)上的例子統(tǒng)計(jì)對(duì)應(yīng)的正則表達(dá)式.

書(shū)上的例子統(tǒng)計(jì)對(duì)應(yīng)的正則表達(dá)式.

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

由此獲得各個(gè)數(shù)字的統(tǒng)計(jì)數(shù)量。

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

(三)參照實(shí)驗(yàn)指南的內(nèi)容安裝Hadoop系統(tǒng),安裝偽分布式模式。

使用vim命令修改core-site.xml文件:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

使用vim命令修改hdfs=site.xml文件:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

之后執(zhí)行名稱節(jié)點(diǎn)格式化:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

成功安裝偽分布模式。

(四)運(yùn)行偽分布式模式,在網(wǎng)絡(luò)頁(yè)面上展示HDFS的信息。

虛擬機(jī)上網(wǎng)查看是否運(yùn)行

?云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

?云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

發(fā)現(xiàn)運(yùn)行成功。

(五)運(yùn)行偽分布式模式的實(shí)例子。

復(fù)制文件:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

復(fù)制成功之后的輸出表:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

運(yùn)行hadoop自帶的grep程序:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

?云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

運(yùn)行結(jié)果:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

關(guān)閉hadoop:

云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令

4.思考題

(一)安裝Hadoop的時(shí)候遇到什么問(wèn)題?采用什么方法解決的?

1.安裝的時(shí)候發(fā)現(xiàn)虛擬機(jī)無(wú)法上網(wǎng),后面在電腦的網(wǎng)絡(luò)共享中心配置虛擬機(jī)的.xof文件重裝,然后使用手機(jī)熱點(diǎn)連接虛擬機(jī),在虛擬機(jī)的網(wǎng)絡(luò)配置中手動(dòng)增加主機(jī)的網(wǎng)絡(luò)ip地址連接。

2.在不用使用hadoop時(shí),需要自己手動(dòng)打出命令stop-dfs.sh關(guān)閉hadoop,不然可能數(shù)據(jù)會(huì)丟失。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-471719.html

到了這里,關(guān)于云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Hadoop 使用Linux操作系統(tǒng)與Java熟悉常用的HDFS操作

    Hadoop 使用Linux操作系統(tǒng)與Java熟悉常用的HDFS操作

    注意看評(píng)論區(qū)獲取完整代碼資料 目錄 一、實(shí)驗(yàn)?zāi)康?二、實(shí)驗(yàn)平臺(tái) 三、實(shí)驗(yàn)步驟 理解HDFS在Hadoop體系結(jié)構(gòu)中的角色; 熟練使用HDFS操作常用的Shell命令; 熟悉HDFS操作常用的Java API。 操作系統(tǒng):Linux(建議Ubuntu16.04); Hadoop版本:2.7.1; JDK版本:1.8或以上版本; Java IDE:Eclipse。

    2024年02月03日
    瀏覽(22)
  • 【云計(jì)算與大數(shù)據(jù)技術(shù)】大數(shù)據(jù)系統(tǒng)總體架構(gòu)概述(Hadoop+MapReduce )

    【云計(jì)算與大數(shù)據(jù)技術(shù)】大數(shù)據(jù)系統(tǒng)總體架構(gòu)概述(Hadoop+MapReduce )

    企業(yè)級(jí)大數(shù)據(jù)應(yīng)用框架需要滿足業(yè)務(wù)的需求,一是要求能夠滿足基于數(shù)據(jù)容量大,數(shù)據(jù)類型多,數(shù)據(jù)流通快的大數(shù)據(jù)基本處理需求,能夠支持大數(shù)據(jù)的采集,存儲(chǔ),處理和分析,二是要能夠滿足企業(yè)級(jí)應(yīng)用在可用性,可靠性,可擴(kuò)展性,容錯(cuò)性,安全性和隱私性等方面的基本

    2024年02月09日
    瀏覽(27)
  • 猿創(chuàng)征文|Hadoop大數(shù)據(jù)技術(shù)綜合實(shí)驗(yàn)

    猿創(chuàng)征文|Hadoop大數(shù)據(jù)技術(shù)綜合實(shí)驗(yàn)

    當(dāng)前互聯(lián)網(wǎng)應(yīng)用中,萬(wàn)維網(wǎng)(World Wide Web)應(yīng)用占據(jù)了絕大部分的份額。萬(wàn)維網(wǎng)應(yīng)用對(duì)外提供服務(wù)需要架設(shè)Web服務(wù)器軟件。典型的Web服務(wù)器軟件有Apache、Nginx等。Web服務(wù)器軟件在運(yùn)行過(guò)程中會(huì)寫(xiě)入各種日志到磁盤(pán)文件中。例如,Apache Web服務(wù)器軟件運(yùn)行過(guò)程中,會(huì)產(chǎn)生access.log文

    2024年02月03日
    瀏覽(32)
  • 三臺(tái)虛擬機(jī)搭建Hadoop集群(云計(jì)算實(shí)驗(yàn)新)

    三臺(tái)虛擬機(jī)搭建Hadoop集群(云計(jì)算實(shí)驗(yàn)新)

    本文將介紹利用三臺(tái)虛擬機(jī)實(shí)現(xiàn)互相免密訪問(wèn)并搭建Hadoop集群。 1. 下載操作系統(tǒng)鏡像源 本文利用Centos7.9版本,下載地址,需要其他版本可在阿里鏡像源下載。 2. 下載虛擬機(jī)軟件VMware VMware官網(wǎng)鏈接,VMware下載指南 3. 配置三臺(tái)Centos虛擬機(jī) VMware中創(chuàng)建虛擬機(jī)教程,創(chuàng)建完成一個(gè)

    2024年02月10日
    瀏覽(19)
  • Hadoop的安裝實(shí)驗(yàn)報(bào)告

    Hadoop的安裝實(shí)驗(yàn)報(bào)告

    1. 掌握Linux虛擬機(jī)的安裝方法。Hadoop在Linux操作系統(tǒng)上運(yùn)行可以發(fā)揮最佳性能。鑒于目前很多讀者正在使用Windows操作系統(tǒng),因此,為了完成本書(shū)的后續(xù)實(shí)驗(yàn),這里有必要通過(guò)本實(shí)驗(yàn)讓讀者掌握在Windows操作系統(tǒng)上搭建Linux虛擬機(jī)的方法。 2. 掌握Hadoop的偽分布式安裝方法。很多讀

    2024年02月08日
    瀏覽(16)
  • 【李老師云計(jì)算】實(shí)驗(yàn)三:在Docker中部署Hadoop集群

    【李老師云計(jì)算】實(shí)驗(yàn)三:在Docker中部署Hadoop集群

    同樣是參考了學(xué)長(zhǎng)的幾篇博客,濤哥功德無(wú)量!在整合了各種信息之后,鄙人會(huì)盡量用更精煉、簡(jiǎn)單的說(shuō)明來(lái)完成這個(gè)實(shí)驗(yàn),當(dāng)然不足一定是會(huì)有的,希望各位朋友可以斧正,同樣也希望后來(lái)的朋友可以再次為這篇博客進(jìn)行升級(jí)迭代! 博客是面向?qū)嶒?yàn)的,因此對(duì)完成實(shí)驗(yàn)無(wú)關(guān)

    2024年02月05日
    瀏覽(22)
  • 熟悉常用的 Linux 操作和 Hadoop 操作

    熟悉常用的 Linux 操作和 Hadoop 操作

    Hadoop 運(yùn)行在 Linux 系統(tǒng)上,因此,需要學(xué)習(xí)實(shí)踐一些常用的 Linux 命令。本實(shí)驗(yàn)旨在熟悉常用的 Linux 操作和 Hadoop 操作,為順利開(kāi)展后續(xù)其他實(shí)驗(yàn)奠定基礎(chǔ)。 環(huán)境: 1、阿里云服務(wù)器 Ubuntu18.0.4 2、Hadoop 3.1.3 3、JDK 1.8 1、切換到目錄/usr/local cd /usr/local 2、切換回上級(jí)目錄 cd … 3、切

    2024年02月02日
    瀏覽(23)
  • Hadoop原理與技術(shù)——hdfs命令行基本操作

    Hadoop原理與技術(shù)——hdfs命令行基本操作

    點(diǎn)擊鏈接查看文檔 一、實(shí)驗(yàn)?zāi)康?熟悉hdfs命令行基本操作 二、實(shí)驗(yàn)環(huán)境 Windows 10 VMware Workstation Pro虛擬機(jī) Hadoop環(huán)境 Jdk1.8 三、實(shí)驗(yàn)內(nèi)容 1:hdfs常見(jiàn)命令: (1)查看幫助:hdfs dfs -help (2)查看當(dāng)前目錄信息:hdfs dfs -ls / (3)創(chuàng)建文件夾:hdfs dfs -mkdir /文件夾名 (4)上傳文件:

    2023年04月16日
    瀏覽(17)
  • 大數(shù)據(jù)技術(shù)之Hadoop:使用命令操作HDFS(四)

    大數(shù)據(jù)技術(shù)之Hadoop:使用命令操作HDFS(四)

    目錄 一、創(chuàng)建文件夾 二、查看指定目錄下的內(nèi)容 三、上傳文件到HDFS指定目錄下 四、查看HDFS文件內(nèi)容 五、下載HDFS文件 六、拷貝HDFS文件 七、HDFS數(shù)據(jù)移動(dòng)操作 八、HDFS數(shù)據(jù)刪除操作 九、HDFS的其他命令 十、hdfs web查看目錄 十一、HDFS客戶端工具 11.1 下載插件 11.2 本地安裝Had

    2024年02月09日
    瀏覽(18)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包