參考資料為:
教材代碼-林子雨編著《大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程(第2版)》教材所有章節(jié)代碼_廈大數(shù)據(jù)庫(kù)實(shí)驗(yàn)室博客
1.實(shí)驗(yàn)學(xué)時(shí)
4學(xué)時(shí)
2.實(shí)驗(yàn)?zāi)康?/strong>
- 熟悉Hadoop系統(tǒng)的安裝
- 掌握Hadoop系統(tǒng)的兩種安裝方式
- 掌握Hadoop系統(tǒng)的基本命令
3.實(shí)驗(yàn)內(nèi)容
- 安裝虛擬機(jī)和Linux環(huán)境。
虛擬機(jī)安裝完畢:
已經(jīng)改變虛擬機(jī)網(wǎng)絡(luò)連接方式為橋接網(wǎng)絡(luò),使用手機(jī)熱點(diǎn)連接計(jì)算機(jī)
環(huán)境為L(zhǎng)inux系統(tǒng)
(二)參照實(shí)驗(yàn)指南的內(nèi)容安裝Hadoop系統(tǒng),安裝單機(jī)模式。
按照書(shū)上之前的配置,已經(jīng)安裝hadoop.
?
按照命令查看hadoop的例子
書(shū)上的例子統(tǒng)計(jì)對(duì)應(yīng)的正則表達(dá)式.
書(shū)上的例子統(tǒng)計(jì)對(duì)應(yīng)的正則表達(dá)式.
由此獲得各個(gè)數(shù)字的統(tǒng)計(jì)數(shù)量。
(三)參照實(shí)驗(yàn)指南的內(nèi)容安裝Hadoop系統(tǒng),安裝偽分布式模式。
使用vim命令修改core-site.xml文件:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
使用vim命令修改hdfs=site.xml文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
之后執(zhí)行名稱節(jié)點(diǎn)格式化:
成功安裝偽分布模式。
(四)運(yùn)行偽分布式模式,在網(wǎng)絡(luò)頁(yè)面上展示HDFS的信息。
虛擬機(jī)上網(wǎng)查看是否運(yùn)行
?
?
發(fā)現(xiàn)運(yùn)行成功。
(五)運(yùn)行偽分布式模式的實(shí)例子。
復(fù)制文件:
復(fù)制成功之后的輸出表:
運(yùn)行hadoop自帶的grep程序:
?
運(yùn)行結(jié)果:
關(guān)閉hadoop:
4.思考題
(一)安裝Hadoop的時(shí)候遇到什么問(wèn)題?采用什么方法解決的?
1.安裝的時(shí)候發(fā)現(xiàn)虛擬機(jī)無(wú)法上網(wǎng),后面在電腦的網(wǎng)絡(luò)共享中心配置虛擬機(jī)的.xof文件重裝,然后使用手機(jī)熱點(diǎn)連接虛擬機(jī),在虛擬機(jī)的網(wǎng)絡(luò)配置中手動(dòng)增加主機(jī)的網(wǎng)絡(luò)ip地址連接。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-471719.html
2.在不用使用hadoop時(shí),需要自己手動(dòng)打出命令stop-dfs.sh關(guān)閉hadoop,不然可能數(shù)據(jù)會(huì)丟失。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-471719.html
到了這里,關(guān)于云計(jì)算技術(shù) 實(shí)驗(yàn)三 安裝Hadoop系統(tǒng)并熟悉hadoop命令的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!