一、 實(shí)驗(yàn)?zāi)康?/h3>

本實(shí)驗(yàn)考察學(xué)生Hadoop平臺下的環(huán)境配置、分布式文件存儲操作和管理以及基于Hadoop的分布式編程的設(shè)計(jì)與實(shí)現(xiàn)。

二、 實(shí)驗(yàn)環(huán)境

Linux的虛擬機(jī)環(huán)境、線上操作視頻和實(shí)驗(yàn)指導(dǎo)手冊

三、 實(shí)驗(yàn)任務(wù)

完成Hadoop開發(fā)環(huán)境安裝、熟悉基本功能和編程方法。

四、 實(shí)驗(yàn)步驟

請按照線上操作視頻和實(shí)驗(yàn)知道手冊，完成以下實(shí)驗(yàn)內(nèi)容：
實(shí)驗(yàn)1-1 Hadoop安裝部署

(1)登錄虛擬機(jī)
(2)主機(jī)配置：主機(jī)名、網(wǎng)絡(luò)和免密登錄等
(3)Hadoop主節(jié)點(diǎn)和從節(jié)點(diǎn)配置
(4)啟動Hadoop集群和網(wǎng)頁操作界面

實(shí)驗(yàn)1-2 Hadoop常用命令

(1)Hadoop啟動與狀態(tài)查看等命令
(2)HDFS目錄操作、文件操作等命令

實(shí)驗(yàn)1-3 MapReduce編程：單詞計(jì)數(shù)

(1)使用Eclipse新建Hadoop項(xiàng)目
(2)使用單詞計(jì)數(shù)示例代碼編寫MapReduce程序
(3)編譯并運(yùn)行MapReduce程序

五、 實(shí)驗(yàn)作業(yè)

1、提交實(shí)驗(yàn)報(bào)告電子稿和紙質(zhì)稿，內(nèi)容包括安裝步驟及主要配置方法說明，關(guān)鍵步驟截圖，并對截圖內(nèi)容進(jìn)行解釋說明；
2、個人對實(shí)驗(yàn)的總結(jié)和心得
3、搜索互聯(lián)網(wǎng)并回答問題：談?wù)劺么髷?shù)據(jù)可以在未來促進(jìn)哪些具體方面可持續(xù)發(fā)展？并請?jiān)谄渲羞x取一個詳細(xì)的例子說明。（回答需大于500字，回答講述越透徹，分?jǐn)?shù)越高）

六、 實(shí)驗(yàn)結(jié)果與分析

1、安裝步驟及主要配置方法說明

實(shí)驗(yàn)1-1 Hadoop安裝部署

1、測試主從機(jī)是否成功聯(lián)網(wǎng)

2、三臺主機(jī)分別完成時鐘同步（這里僅演示master主機(jī)）

3、依次配置三臺虛擬機(jī)的java環(huán)境

這里僅演示slave02虛擬機(jī)java環(huán)境安裝成功。

4、安裝部署Hadoop集群
三臺虛擬機(jī)解壓hadoop并配置環(huán)境變量，此處不截圖。
格式化Hadoop文件目錄

5、啟動Hadoop集群
使用jps查看節(jié)點(diǎn)是否啟動成功

查看namenode和datanode是否正常

檢查Yarn是否正常

運(yùn)行指定命令后查看pi的值

通過以上三步驗(yàn)證，發(fā)現(xiàn)hadoop安裝成功，集群正常啟動

實(shí)驗(yàn)1-2 Hadoop常用命令

1、列出目錄及文件

2、遞歸列出目錄及文件

3、創(chuàng)建目錄

4、上傳文件

5、下載文件

6、刪除文件

實(shí)驗(yàn)1-3 MapReduce編程：單詞計(jì)數(shù)

1、啟動hadoop集群、eclipse

2、編寫核心代碼

3、運(yùn)行測試

運(yùn)行jar包執(zhí)行分割

2、實(shí)驗(yàn)的總結(jié)和心得

本次實(shí)驗(yàn)主要完成Hadoop環(huán)境的安裝、集群配置、了解常用的Hadoop指令、使用Hadoop完成單詞分割的小程序。通過三個實(shí)驗(yàn)讓我初步了解Hadoop運(yùn)行過程，Hadoop是一個分布式的架構(gòu)，所以在實(shí)驗(yàn)過程中至少需要三臺虛擬機(jī)即一臺主機(jī)，兩臺從機(jī)，由此可以體會集群配置。在實(shí)驗(yàn)過程中，我對hadoop操作更加熟悉同時對Linux下虛擬機(jī)的操作更加熟練，目前我僅通過單詞分割的例子來感受hadoop的功能，這還不夠明顯，hadoop本身是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，所以未來需要通過更多的實(shí)例來感受hadoop的強(qiáng)大功能。
整體配置難度不大，相對來說繁瑣程度大于難度，尤其是其中的權(quán)限問題，即在正確的權(quán)限下操作會避免后續(xù)的錯誤。

實(shí)驗(yàn)總結(jié)：

1、多虛擬機(jī)配置相同環(huán)境，可以編寫shell腳本自動執(zhí)行，避免大量繁瑣重復(fù)無意義的配置。
2、重視權(quán)限問題，使用root權(quán)限創(chuàng)建文件可能導(dǎo)致普通用戶寫入時出現(xiàn)權(quán)限不夠的情況。
3、hadoop在刪除文件時遇到多層目錄的情況要選擇使用 -rmr 命令，否則無法完成級聯(lián)刪除。
4、hadoop主要應(yīng)用于大數(shù)據(jù)的計(jì)算，所以計(jì)算過程相對較慢。

3、問題：談?wù)劺么髷?shù)據(jù)可以在未來促進(jìn)哪些具體方面可持續(xù)發(fā)展？并請?jiān)谄渲羞x取一個詳細(xì)的例子說明。

大數(shù)據(jù)可以應(yīng)用于金融領(lǐng)域、安防領(lǐng)域、能源領(lǐng)域、業(yè)務(wù)領(lǐng)域、醫(yī)療領(lǐng)域、電力行業(yè)領(lǐng)域等。
大數(shù)據(jù)應(yīng)用于金融領(lǐng)域是比較常見的。大數(shù)據(jù)所帶來的社會變革已經(jīng)深入到人們生活的各個方面，金融創(chuàng)新離不開大數(shù)據(jù)，日常的出行、購物、運(yùn)動、理財(cái)?shù)鹊?。金融業(yè)面臨眾多前所未有的跨界競爭對手，市場格局、業(yè)務(wù)流程將發(fā)生巨大改變。未來的金融業(yè)將開展新一輪圍繞大數(shù)據(jù)的IT建設(shè)投資。據(jù)悉，目前，中國的金融行業(yè)數(shù)據(jù)量已經(jīng)超過100TB，非結(jié)構(gòu)化數(shù)據(jù)迅速增長。分析人士認(rèn)為，中國金融行業(yè)正在步入大數(shù)據(jù)時代的初級階段。優(yōu)秀的數(shù)據(jù)分析能力是當(dāng)今金融市場創(chuàng)新的關(guān)鍵，資本管理、交易執(zhí)行、安全和反欺詐等相關(guān)的數(shù)據(jù)洞察力，成為金融企業(yè)運(yùn)作和發(fā)展的核心競爭力。信貸風(fēng)險(xiǎn)評估。在傳統(tǒng)方法中，銀行對企業(yè)客戶的違約風(fēng)險(xiǎn)評估多是基于過往的信貸數(shù)據(jù)和交易數(shù)據(jù)等靜態(tài)數(shù)據(jù)，這種方式的最大弊端就是缺少前瞻性。因?yàn)橛绊懫髽I(yè)違約的重要因素并不僅僅只是企業(yè)歷史的信用情況，還包括行業(yè)的整體發(fā)展?fàn)顩r和實(shí)時的經(jīng)營情況。而大數(shù)據(jù)手段的介入使信貸風(fēng)險(xiǎn)評估更趨近于事實(shí)。
內(nèi)外部數(shù)據(jù)資源整合是大數(shù)據(jù)信貸風(fēng)險(xiǎn)評估的前提。一般來說，商業(yè)銀行在識別客戶需求、估算客戶價(jià)值、判斷客戶優(yōu)劣、預(yù)測客戶違約可能的過程中，既需要借助銀行內(nèi)部已掌握的客戶相關(guān)信息，也需要借助外部機(jī)構(gòu)掌握的人行征信信息、客戶公共評價(jià)信息、商務(wù)經(jīng)營信息、收支消費(fèi)信息、社會關(guān)聯(lián)信息等。該部分策略主要目標(biāo)為數(shù)據(jù)分析提供更廣闊的數(shù)據(jù)維度和數(shù)據(jù)鮮活度，從而共同形成商業(yè)銀行貸款風(fēng)險(xiǎn)評估資源。
供應(yīng)鏈金融。供應(yīng)鏈金融的風(fēng)險(xiǎn)控制從授信主體向整個鏈條轉(zhuǎn)變。供應(yīng)鏈核心企業(yè)擁有良好的資產(chǎn)、充足的資金和高額的授信額度。而依附于核心企業(yè)的上下游企業(yè)可能需要資金，但是貸不到款。供應(yīng)鏈金融可以由核心企業(yè)做擔(dān)保，以產(chǎn)品或應(yīng)收賬款做質(zhì)押，幫助上下游企業(yè)獲得資金。
利用大數(shù)據(jù)技術(shù)，銀行可以根據(jù)企業(yè)之間的投資、控股、借貸、擔(dān)保以及股東和法人之間的關(guān)系，形成企業(yè)之間的關(guān)系圖譜，利于關(guān)聯(lián)企業(yè)分析及風(fēng)險(xiǎn)控制。知識圖譜在通過建立數(shù)據(jù)之間的關(guān)聯(lián)鏈接，將碎片化的數(shù)據(jù)有機(jī)的組織起來，讓數(shù)據(jù)更加容易被人和機(jī)器理解和處理，并為搜索、挖掘、分析等提供便利。
在風(fēng)控上，銀行以核心企業(yè)為切入點(diǎn)，將供應(yīng)鏈上的多個關(guān)鍵企業(yè)作為一個整體。利用交往圈分析模型，持續(xù)觀察企業(yè)間的通信交往數(shù)據(jù)變化情況，通過與基線數(shù)據(jù)的對比來洞察異常的交往動態(tài)，評估供應(yīng)鏈的健康度及為企業(yè)貸后風(fēng)控提供參考依據(jù)。文章來源地址http://www.zghlxwxcb.cn/news/detail-778670.html

到了這里，關(guān)于云計(jì)算實(shí)驗(yàn)1 基于Hadoop的云計(jì)算平臺配置和map-reduce編程案例的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！