題目

基于Hadoop的京東商城數(shù)據(jù)分析的研究與實(shí)現(xiàn)

1.課題研究立項(xiàng)依據(jù)

（1）課題來源

隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，企業(yè)商務(wù)模式也發(fā)生了翻天覆地的變化，很多傳統(tǒng)企業(yè)都把目光投向了互聯(lián)網(wǎng)電子商務(wù)。近年來，越來越多的電子商務(wù)平臺(tái)的誕生，引起了電子商務(wù)業(yè)內(nèi)的廣泛關(guān)注。電子商務(wù)平臺(tái)的興起，隨之帶來的就是信息數(shù)據(jù)量的爆炸式增長(zhǎng)，大數(shù)據(jù)產(chǎn)業(yè)也隨之誕生。如何運(yùn)用大數(shù)據(jù)技術(shù)成為目前討論的一個(gè)熱點(diǎn)話題。

（2）科學(xué)意義

基于Hadoop的京東商城數(shù)據(jù)分析將通過分析用戶行為數(shù)據(jù)，從而得到用戶的喜好和偏向，通過數(shù)據(jù)可視化的界面進(jìn)行呈現(xiàn)。數(shù)據(jù)分析的目的就是通過強(qiáng)大的用戶數(shù)據(jù)分析、存儲(chǔ)、計(jì)算的能力，對(duì)用戶行為數(shù)據(jù)進(jìn)行多維度、多方面的統(tǒng)計(jì)分析和查詢，方便企業(yè)在進(jìn)行用戶行為數(shù)據(jù)分析時(shí)，能夠更快捷更迅速的得到反饋，提高工作效率，幫助企業(yè)了解重要的用戶統(tǒng)計(jì)數(shù)據(jù)，為企業(yè)運(yùn)營(yíng)提供數(shù)據(jù)驅(qū)動(dòng)力。

（3）選題目的

電子商務(wù)運(yùn)營(yíng)環(huán)節(jié)中，用戶行為分析和管理有著非常重要的地位。根據(jù)用戶信息數(shù)據(jù)對(duì)用戶購(gòu)買商品的特征進(jìn)行分析，從而定制相應(yīng)的資源分配計(jì)劃和營(yíng)銷策略。基于Hadoop的數(shù)據(jù)分析研究，可以構(gòu)建一個(gè)大數(shù)據(jù)處理平臺(tái)，不僅能夠解決電商平臺(tái)面臨的大數(shù)據(jù)的存儲(chǔ)等問題，更能為企業(yè)提供精準(zhǔn)的營(yíng)銷能力，改善用戶體驗(yàn)。

（4）國(guó)內(nèi)外研究現(xiàn)狀

①國(guó)外研究狀況

國(guó)外對(duì)數(shù)據(jù)分析的研究起步于20世紀(jì)80年代，主要是通過研究用戶的行為特征和規(guī)律來實(shí)現(xiàn)用戶分析和網(wǎng)站優(yōu)化?，F(xiàn)在，在國(guó)外，用戶行為數(shù)據(jù)分析已經(jīng)可以通過對(duì)用戶的行為特征進(jìn)行分析，從而完成對(duì)資源分配的優(yōu)化，提高企業(yè)的競(jìng)爭(zhēng)力。

②國(guó)內(nèi)研究狀況

2012年開始，我國(guó)互聯(lián)網(wǎng)電商企業(yè)進(jìn)入爆發(fā)增長(zhǎng)期，行業(yè)競(jìng)爭(zhēng)十分激烈，各企業(yè)也紛紛開始對(duì)用戶行為數(shù)據(jù)進(jìn)行分析和研究，但仍處于初步階段。分析方法主要都是通過記錄用戶查詢、搜索、點(diǎn)擊等信息，通過統(tǒng)計(jì)分析，實(shí)現(xiàn)網(wǎng)站優(yōu)化、預(yù)測(cè)用戶個(gè)人喜好以及推薦相關(guān)產(chǎn)品。目前國(guó)內(nèi)較為主流的思想是使用Hadoop平臺(tái)作為用戶數(shù)據(jù)存儲(chǔ)的平臺(tái)，對(duì)用戶行為數(shù)據(jù)進(jìn)行分析。

2.課題研究的基本內(nèi)容及預(yù)期目標(biāo)或成果

本課題的主要內(nèi)容包括：以京東商城為例，對(duì)電商網(wǎng)站中的用戶行為進(jìn)行研究和實(shí)現(xiàn)；分析用戶行為數(shù)據(jù)分析的應(yīng)用場(chǎng)景并針對(duì)該應(yīng)用場(chǎng)景進(jìn)行基于Hadoop的京東商城數(shù)據(jù)分析的研究與實(shí)現(xiàn)。本課題通過對(duì)京東商城的數(shù)據(jù)進(jìn)行采集后，形成相關(guān)數(shù)據(jù)集，進(jìn)行數(shù)據(jù)預(yù)處理，根據(jù)數(shù)據(jù)集進(jìn)行數(shù)據(jù)挖掘，得出相應(yīng)分析結(jié)果，通過數(shù)據(jù)可視化的形式進(jìn)行反饋。系統(tǒng)主要實(shí)現(xiàn)的功能有：數(shù)據(jù)獲取、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)可視化。數(shù)據(jù)獲?。簩?shí)現(xiàn)對(duì)商城中各類數(shù)據(jù)的獲取；數(shù)據(jù)采集：將獲得的數(shù)據(jù)進(jìn)行收集，形成數(shù)據(jù)集；數(shù)據(jù)預(yù)處理：對(duì)數(shù)據(jù)集的相關(guān)內(nèi)容進(jìn)行預(yù)處理；數(shù)據(jù)挖掘：將處理過的數(shù)據(jù)進(jìn)行挖掘，從中提取有用的數(shù)據(jù)進(jìn)行分析；數(shù)據(jù)可視化：將分析過的數(shù)據(jù)通過相應(yīng)形式進(jìn)行展現(xiàn)。

3.課題的研究方案

研究方法：

通過查閱文獻(xiàn)、閱讀資料，更全面地了解京東商城的數(shù)據(jù)分析的實(shí)現(xiàn)，加深對(duì)Hadoop平臺(tái)的認(rèn)知，使得系統(tǒng)可以對(duì)用戶行為的數(shù)據(jù)進(jìn)行多維度、多角度的分析，更好地實(shí)現(xiàn)用戶行為數(shù)據(jù)分析系統(tǒng)的相關(guān)功能。

技術(shù)路線：

數(shù)據(jù)分析系統(tǒng)基于Hadoop平臺(tái)，主要運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)來實(shí)現(xiàn)數(shù)據(jù)分析的開發(fā)。系統(tǒng)采用一系列數(shù)據(jù)處理技術(shù)，對(duì)數(shù)據(jù)進(jìn)行分析與研究。詳細(xì)實(shí)現(xiàn)步驟如下：

①對(duì)本課題進(jìn)行需求分析以及可行性研究，明確該課題需要的相關(guān)技術(shù)；

②將所需信息進(jìn)行整合，建立相關(guān)數(shù)據(jù)集，用于存放數(shù)據(jù)；

③對(duì)相關(guān)數(shù)據(jù)進(jìn)行處理，并進(jìn)行可視化展現(xiàn)；

④完成整合開發(fā)，進(jìn)行系統(tǒng)調(diào)試并運(yùn)行。

4.參考文獻(xiàn)

[1]李紅,夏詠梅,劉琳. 大數(shù)據(jù)背景下去哪兒網(wǎng)客戶關(guān)系管理研究[C]. 勞動(dòng)保障研究會(huì)議論文集（六）.2020.

[2]鄒鵬. 互聯(lián)網(wǎng)數(shù)據(jù)分析系統(tǒng)的研究[J]. 中外企業(yè)家,2018,(7).

[3]盧愛芬. 基于Hadoop的大數(shù)據(jù)處理系統(tǒng)分析與研究[J]. 現(xiàn)代信息科技,2020,(2).

[4]于淑云,林姝敏. 基于Hadoop的大數(shù)據(jù)用戶行為分析系統(tǒng)[J]. 北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,(5).

[5]任璇炫. 基于Hadoop的東盟電子商務(wù)平臺(tái)的研究與設(shè)計(jì)[J]. 全國(guó)流通經(jīng)濟(jì),2020,(24).

[6]李依潼,王驥,任肖麗. 基于Scrapy的電商數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電子技術(shù)與軟件工程,2020,(2).

[7]馮傳新,楊保華. 基于scrapy框架的京東數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 價(jià)值工程,2018,(28).

[8]蘇杰. 基于UML的在線商城的分析與設(shè)計(jì)[J]. 電腦知識(shí)與技術(shù),2020,(11).

[9]羅嘉龍,蘇毓洲,方健煒,陳正銘. 基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電腦知識(shí)與技術(shù),2019,(35).

[10]羅雨馨,姜攀. 基于大數(shù)據(jù)技術(shù)的商品精準(zhǔn)推送系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電腦編程技巧與維護(hù),2019,(12).

[11] 閔敏. 基于聚類協(xié)作過濾的商品個(gè)性化推薦系統(tǒng)的實(shí)現(xiàn)[J]. 制造業(yè)自動(dòng)化,2010,32(2):157-160.

[12]謝慧敏. 基于數(shù)據(jù)挖掘的電商企業(yè)營(yíng)銷管理研究[J]. 品牌研究,2019,(11).

[13]王立霞,石雨琪. 基于微商的客戶行為分析與興趣挖掘[J]. 吉林化工學(xué)院學(xué)報(bào),2018,(2).

[14]鄒丹. 淺談大數(shù)據(jù)分析在公共資源交易中的應(yīng)用[C]. 創(chuàng)新之路——全國(guó)建筑市場(chǎng)與招標(biāo)投標(biāo)“筑龍杯”創(chuàng)新之路征文大賽優(yōu)秀論文集.2017

[15]鄒鵬. 數(shù)據(jù)分析系統(tǒng)可靠性的分析與研究[J]. 中外企業(yè)家,2018,(7).文章來源地址http://www.zghlxwxcb.cn/news/detail-740248.html