本文介紹了一種基于Hadoop的網(wǎng)站日志大數(shù)據(jù)分析方法。本項目首先將網(wǎng)站日志上傳到HDFS分布式文件系統(tǒng)，然后使用MapReduce進行數(shù)據(jù)預(yù)處理。通過使用Hive進行大數(shù)據(jù)分析，我們能夠?qū)W(wǎng)站的PV、獨立IP、用戶注冊數(shù)和跳出用戶數(shù)等重要指標進行統(tǒng)計分析。最后，我們使用Sqoop將分析結(jié)果導(dǎo)出到MySQL數(shù)據(jù)庫，并使用Python搭建可視化界面，以方便用戶對分析結(jié)果進行更直觀的理解。

通過使用Hadoop分布式計算框架，本項目可以高效地處理大量的網(wǎng)站日志數(shù)據(jù)。使用MapReduce進行預(yù)處理能夠有效地減少數(shù)據(jù)量，并進行初步的數(shù)據(jù)清洗和篩選。在使用Hive進行大數(shù)據(jù)分析時，我們可以通過編寫復(fù)雜的SQL查詢語句，快速地獲取需要的數(shù)據(jù)，并對這些數(shù)據(jù)進行深入的統(tǒng)計分析。

通過本項目，我們可以快速準確地獲取網(wǎng)站的關(guān)鍵指標數(shù)據(jù)，幫助企業(yè)更好地了解用戶行為，優(yōu)化網(wǎng)站運營策略，提升用戶體驗。同時，本項目的數(shù)據(jù)導(dǎo)出和可視化功能也為用戶提供了更方便、直觀的數(shù)據(jù)展示方式，使得數(shù)據(jù)分析結(jié)果更易于理解和使用。

此處省略......

1.1 研究背景

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，越來越多的企業(yè)將其業(yè)務(wù)轉(zhuǎn)移到了線上。網(wǎng)站是企業(yè)展示自身品牌形象，提供產(chǎn)品或服務(wù)的重要平臺，而網(wǎng)站日志是記錄網(wǎng)站活動的重要數(shù)據(jù)源。

此處省略......

1.2 研究目的

本文旨在探討基于Hadoop對網(wǎng)站日志進行大數(shù)據(jù)分析的研究目的。隨著互聯(lián)網(wǎng)的普及，網(wǎng)站的流量日益增大，大量的網(wǎng)站日志數(shù)據(jù)被生成。這些數(shù)據(jù)包含了大量的信息，可以幫助網(wǎng)站管理者了解用戶的行為和需求，為網(wǎng)站的優(yōu)化和改進提供有價值的參考。

此處省略......

1.3 研究意義

本文旨在探討基于Hadoop對網(wǎng)站日志進行大數(shù)據(jù)分析的研究意義。隨著互聯(lián)網(wǎng)的不斷發(fā)展，越來越多的網(wǎng)站日志數(shù)據(jù)被生成，這些數(shù)據(jù)包含了大量的信息，可以為網(wǎng)站的優(yōu)化和改進提供有價值的參考。因此，本文研究的意義在于：

此處省略......

1.4 國內(nèi)外研究現(xiàn)狀分析

隨著大數(shù)據(jù)時代的到來，越來越多的企業(yè)開始關(guān)注如何利用大數(shù)據(jù)進行網(wǎng)站日志分析，以從中獲得商業(yè)價值。而Hadoop作為一種分布式計算框架，可以用于對大規(guī)模數(shù)據(jù)進行處理和分析。本文將對基于Hadoop對網(wǎng)站日志進行大數(shù)據(jù)分析的國內(nèi)外研究現(xiàn)狀進行分析。

一、國內(nèi)研究現(xiàn)狀：

此處省略......

二、國外研究現(xiàn)狀：

此處省略......

2 研究過程

2.1 總體研究路線

本文基于Hadoop對網(wǎng)站日志大數(shù)據(jù)集進行離線分析，最初首先必須要搭建一個Hadoop分布式系統(tǒng)，安裝好本研究所需要的各類組件。在部署好Hadoop之后，首先將日志數(shù)據(jù)上傳到hdfs分布式文件系統(tǒng)上，采用MapReduce的思想，利用Python編寫Map和Reduce腳本程序，對原始數(shù)據(jù)進行清洗。

將網(wǎng)站日志數(shù)據(jù)清洗為結(jié)構(gòu)化的數(shù)據(jù)之后，然后保存在hdfs中，之后在hive里面進行建表和數(shù)據(jù)導(dǎo)入操作，借助大數(shù)據(jù)分析組件hive對其進行統(tǒng)計學分析，挖掘出常用的一些業(yè)務(wù)指標，其次利用Hadoop中的sqoop組件將hive中的分析結(jié)果表導(dǎo)入到mysql中，或者將結(jié)果存入到hbase中。最終通過Python的Pyecharts的可視化庫對其進行可視化，在web頁面展示出統(tǒng)計出來的業(yè)務(wù)指標。

圖1.1 總體研究路線圖

如下圖所示，通過這樣一系列的操作和流程，可以將大數(shù)據(jù)分析展現(xiàn)到?jīng)Q策者的眼前。

圖1.2 技術(shù)開發(fā)流程圖

2.2 搭建Hadoop環(huán)境系統(tǒng)

本研究通過搭建Hadoop偽分布式系統(tǒng)，對其進行大數(shù)據(jù)分析?？梢詫W習Hadoop的基本原理和架構(gòu)，對Hadoop的運行機制有更深入的了解。能夠在單機上模擬多節(jié)點的分布式環(huán)境，可以更好地測試和開發(fā)分布式應(yīng)用程序?？梢猿浞掷米约旱挠嬎阗Y源，提高數(shù)據(jù)處理效率。

2.2.1 Hadoop部署及各類組件安裝

由于Hadoop的部署和安裝各類組件比較繁瑣，這里就不作具體的詳細的安裝部署描述了。本研究通過前期花費時間對其進行各類組件安裝，并將其結(jié)果圖展示如下所示：

圖2.1 Hadoop安裝展示

圖2.2 Hadoop集群啟動及hive安裝展示

Hadoop中的各類結(jié)點特點及解釋如下：

（1）NameNode它是Hadoop中的主服務(wù)器，管理文件系統(tǒng)名稱空間和對集群中存儲的文件的訪問。

（2）Secondary NameNode是一個用來監(jiān)控HDFS狀態(tài)的輔助后臺程序。

（3）DataNode它負責管理連接到節(jié)點的存儲（一個集群中可以有多個節(jié)點）。每個存儲數(shù)據(jù)的節(jié)點運行一個 datanode守護進程。

（4）NodeManager：YARN中每個節(jié)點上的代理，它管理Hadoop集群中單個計算節(jié)點，包括與ResourceManger保持通信，監(jiān)督Container的生命周期管理，監(jiān)控每個Container的資源使用（內(nèi)存、CPU等）情況，追蹤節(jié)點健康狀況，管理日志和不同應(yīng)用程序用到的附屬服務(wù)（auxiliary service）。

（5）ResourceManager：在YARN中，ResourceManager負責集群中所有資源的統(tǒng)一管理和分配，它接收來自各個節(jié)點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應(yīng)用程序（實際上是ApplicationManager）RM與每個節(jié)點的NodeManagers (NMs)和每個應(yīng)用的ApplicationMasters (AMs)一起工作。

圖2.3 mysql及sqoop安裝展示

Hadoop是一個分布式計算框架，可以存儲和處理大規(guī)模數(shù)據(jù)集。Sqoop和MySQL是兩個常用于Hadoop生態(tài)系統(tǒng)中的組件。

Sqoop是一個用于將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到Hadoop生態(tài)系統(tǒng)中的工具。它支持多種關(guān)系型數(shù)據(jù)庫（如MySQL、Oracle、PostgreSQL等），可以將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)換為Hadoop生態(tài)系統(tǒng)中的數(shù)據(jù)格式（如HDFS、Hive、HBase等）。Sqoop還支持增量導(dǎo)入和導(dǎo)出，以及自定義導(dǎo)入查詢。

MySQL是一種開源的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，被廣泛應(yīng)用于Web應(yīng)用程序的開發(fā)。在Hadoop生態(tài)系統(tǒng)中，MySQL通常用于存儲與Hadoop數(shù)據(jù)相關(guān)的元數(shù)據(jù)和其他信息。MySQL可以通過Hadoop的MapReduce作業(yè)來查詢和處理數(shù)據(jù)，也可以與Sqoop一起使用，將關(guān)系型數(shù)據(jù)導(dǎo)入到Hadoop生態(tài)系統(tǒng)中。

上述就已經(jīng)對本次研究所需要的基本組件完成了安裝和部署，旨在為后續(xù)的研究過程準備良好的環(huán)境基礎(chǔ)。

2.3 數(shù)據(jù)集介紹

本次研究的數(shù)據(jù)日志來源于國內(nèi)某技術(shù)學習論壇，該論壇由某培訓機構(gòu)主辦，匯聚了眾多技術(shù)學習者，每天都有人發(fā)帖、回帖。通過獲取開源的數(shù)據(jù)集日志，其中包括2013-05-30和2013-05-31這兩天的網(wǎng)站日志數(shù)據(jù)，其中每行記錄有5部分組成：訪問者IP、訪問時間、訪問資源、訪問狀態(tài)（HTTP狀態(tài)碼）、本次訪問流量。

圖3.1 日志數(shù)據(jù)展示

該數(shù)據(jù)字段具有不規(guī)則的特點，基于Hadoop大數(shù)據(jù)分析hive進行結(jié)構(gòu)化統(tǒng)計分析，需要進一步對數(shù)據(jù)進行預(yù)處理，由于本數(shù)據(jù)量非常大，從數(shù)據(jù)的容量來看兩天的日志文件大小一共是200MB，30號的數(shù)據(jù)量約是55W左右，31號的數(shù)據(jù)量是140W左右，總數(shù)據(jù)量約接近200W的數(shù)據(jù)，從大數(shù)據(jù)的角度來看，已經(jīng)符合了大數(shù)據(jù)模擬分析的要求，傳統(tǒng)的分析軟件對其進行處理已經(jīng)達不到高效率的特點了。

通過Python進行編寫MapReduce腳本，對數(shù)據(jù)日志進行數(shù)據(jù)流處理和清洗，最終解決數(shù)據(jù)的不規(guī)則。

2.4 MapReduce數(shù)據(jù)預(yù)處理

2.4.1 MapReduce原理介紹

MapReduce是一種分布式計算模型，由Google公司于2004年提出，旨在通過將大規(guī)模數(shù)據(jù)集分解為小的數(shù)據(jù)塊，然后在分布式計算集群中進行并行計算，以實現(xiàn)高效的大規(guī)模數(shù)據(jù)處理。MapReduce模型的核心思想是將數(shù)據(jù)分成小的塊進行處理，以及將計算分成兩個階段，即“映射”和“歸約”。

此處省略......

圖4.1 MapReduce編程模型圖

MapReduce的主要特點包括以下幾點：

此處省略......

MapReduce是一種高效、穩(wěn)定、可擴展的分布式計算模型，已被廣泛應(yīng)用于各種大數(shù)據(jù)處理場景中。

圖4.2 Mapper.Py展示

上述代碼的思想就是對日志文件中的每一行進行解析

此處省略......

圖4.3 Reducer.Py展示

這段代碼是一個Hadoop中Reducer的Python實現(xiàn)。

此處省略......

圖4.4 數(shù)據(jù)預(yù)處理結(jié)果

處理好的數(shù)據(jù)用于后續(xù)的大數(shù)據(jù)分析，在執(zhí)行對應(yīng)的shell文件之后

此處省略......

圖4.5 MapReduce執(zhí)行shell腳本展示

最終通過執(zhí)行我們的腳本文件，可以用source或者./ 命令

圖4.6 MapReduce執(zhí)行結(jié)果展示

2.4 Hadoop基本組件及其介紹

2.4.1 Hive的基本概念

此處省略......

2.4.2 HDFS的基本概念

此處省略......

2.4.3 Sqoop的基本概念

此處省略......

2.4.4 MySQL的基本概念

此處省略......

2.5 建立數(shù)據(jù)庫表與導(dǎo)入

根據(jù)結(jié)果文件結(jié)構(gòu)建立hive數(shù)據(jù)庫表，在結(jié)果文件上創(chuàng)建分區(qū)表。首先把清洗后的文件放在我們自己設(shè)定的文件夾里面，在hive里面進行創(chuàng)建表格，這里創(chuàng)建一個分區(qū)表，create external table 表名（字段 字段類型…..）partitioned by (分區(qū)字段 字段類型) rowformat delimted fields terminated by ‘分割符’，location 數(shù)據(jù)路徑的祖文件夾（不包含數(shù)據(jù)的直接存儲文件夾）。

建表語句如下：

CREATE EXTERNAL TABLE whw(ip string, atime string, url string) PARTITIONED BY (logdate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/hadoop/data';

2.5.1 分區(qū)分桶的概念

在Hive建立數(shù)據(jù)表時，為了提高查詢效率和降低查詢成本，常常會選擇建立分區(qū)表。分區(qū)表是將數(shù)據(jù)按照某一列進行分區(qū)，將相同的數(shù)據(jù)分組存儲在不同的文件夾或目錄中，以實現(xiàn)更加高效的數(shù)據(jù)查詢和處理。

分區(qū)的概念是將數(shù)據(jù)按照某一列的值進行分組，可以將數(shù)據(jù)存儲在不同的文件夾或目錄中，以提高查詢效率。在Hive中，常用的分區(qū)字段包括日期、時間、地區(qū)、城市、性別等。例如，如果將銷售數(shù)據(jù)按照日期進行分區(qū)，可以將每一天的銷售數(shù)據(jù)存儲在不同的目錄中，以便快速查詢每一天的銷售情況。

除了分區(qū)之外，Hive還提供了另外一種數(shù)據(jù)組織方式，即分桶。分桶是將數(shù)據(jù)按照某一列的哈希值進行分組，將相同哈希值的數(shù)據(jù)存儲在同一個文件中，以實現(xiàn)更加高效的數(shù)據(jù)查詢和處理。分桶相對于分區(qū)來說，更適用于數(shù)據(jù)量較大，且數(shù)據(jù)分布較為均勻的場景。

分區(qū)和分桶的優(yōu)勢在于可以提高數(shù)據(jù)查詢和處理的效率，降低查詢成本。通過將數(shù)據(jù)按照某一列進行分組存儲，可以減少查詢時需要掃描的數(shù)據(jù)量，提高查詢速度。此外，分區(qū)和分桶還可以用于優(yōu)化數(shù)據(jù)的存儲和壓縮，減少存儲和傳輸成本。分區(qū)和分桶可以根據(jù)實際數(shù)據(jù)的特點來選擇使用，以實現(xiàn)更加高效的數(shù)據(jù)查詢和處理。

本次研究，我們就是按照日期進行分區(qū)，最終可以提高我們的查詢效率。

2.5.2 分區(qū)數(shù)據(jù)集的導(dǎo)入

建立分區(qū)語句：

Alter table 表名 add partition（分區(qū)字段=‘分區(qū)標簽’）location 數(shù)據(jù)路徑（數(shù)據(jù)文件的父文件夾）

ALTER TABLE whw ADD PARTITION(logdate='2022_05_30') LOCATION '/user/hadoop/data/datas';

圖5.1 分區(qū)表導(dǎo)入執(zhí)行結(jié)果展示

圖5.2 查詢數(shù)據(jù)導(dǎo)入結(jié)果展示

分別按照上述的思想和步驟，對其兩天的數(shù)據(jù)導(dǎo)入到hive中，接下來我們就是通過hive查詢我們需要的數(shù)據(jù)。

2.6 Hive統(tǒng)計分析

使用Hive對結(jié)果表進行數(shù)據(jù)分析統(tǒng)計，在這之前我們需要這幾個網(wǎng)頁指標進行了解，清除這些指標具體代表的含義和意義，以及對其網(wǎng)站的優(yōu)化建設(shè)提出對應(yīng)的措施。

2.6.1 PV指標介紹以及統(tǒng)計

PV（Page View）是指網(wǎng)站頁面的瀏覽量，即網(wǎng)站上所有頁面被訪問的次數(shù)總和。在網(wǎng)站分析中，PV是最基本的指標之一，用來衡量網(wǎng)站的流量和受眾規(guī)模。

在網(wǎng)站場景中，PV的含義是指用戶訪問網(wǎng)站的頁面次數(shù)，每打開一個頁面都算作一次PV。例如，一個用戶在訪問某個網(wǎng)站時，瀏覽了首頁、文章列表、文章詳情等多個頁面，這些頁面的瀏覽次數(shù)總和即為PV。

?

圖6.1 PV指標查詢統(tǒng)計

2.6.2 注冊用戶數(shù)指標介紹與統(tǒng)計

此處省略......

圖6.2 注冊用戶數(shù)指標查詢統(tǒng)計

2.6.3 獨立IP數(shù)指標介紹與統(tǒng)計

此處省略......

圖6.3 獨立IP數(shù)指標查詢統(tǒng)計

2.6.4 跳出用戶數(shù)指標介紹與統(tǒng)計

跳出用戶數(shù)是指在訪問網(wǎng)站的某個頁面后沒有繼續(xù)訪問其他頁面而直接離開網(wǎng)站的用戶數(shù)量。這個指標通常用于衡量網(wǎng)站的用戶體驗和吸引力。如果跳出用戶數(shù)過高，說明用戶對網(wǎng)站的內(nèi)容或體驗不感興趣或不滿意，需要進行優(yōu)化。

此處省略......

圖6.4 跳出用戶數(shù)指標查詢統(tǒng)計

2.6.5 數(shù)據(jù)表匯總

內(nèi)連接表示查詢兩個表的交集，而且ON的條件為 1=1 就表示連接條件永遠成立，這里使用將所有的查詢結(jié)果匯總到一張數(shù)據(jù)表里面。

圖6.5 數(shù)據(jù)表匯總操作展示

2.7 數(shù)據(jù)導(dǎo)出與數(shù)據(jù)展示

2.7.1 MySQL中創(chuàng)建表格

使用mysql -u root -p（啟動MySQL，需要輸入密碼，不顯示），在使用mysql進行數(shù)據(jù)的創(chuàng)建的時候需要使用數(shù)據(jù)庫。創(chuàng)建命令如下：

create table whw_logs_stat(logdate varchar(10) primary key,pv int,reguser int,ip int,jumper int);

圖7.1 mysql數(shù)據(jù)表的創(chuàng)建

2.7.2 Sqoop將hive表導(dǎo)入mysql

使用sqoop將我們的hive里面的結(jié)果表導(dǎo)入到我們的MySQL里面，使用sqoop export –connect jdbc:mysql://localhost:3306/數(shù)據(jù)庫 –username root -p –table MySQL里面的表名 –export-dir hive里面結(jié)果表的存儲位置 -m 1 –input -fields-terminated -by ‘\001’

注意的是，這里需要在終端新開一個，然后使用該命令的方法，將hive數(shù)據(jù)表導(dǎo)入到mysql中。并且需要提前知道我們的hive數(shù)據(jù)表存在的位置，也就是在hdfs中hive數(shù)據(jù)表存在的位置。

圖7.2 hive數(shù)據(jù)表的位置

圖7.3 sqoop執(zhí)行結(jié)果展示

最后我們在進入到mysql終端界面查看 數(shù)據(jù)已經(jīng)導(dǎo)入成功了。

?mysql最終表展示

2.7.3 數(shù)據(jù)可視化

使用數(shù)據(jù)可視化工具，將數(shù)據(jù)轉(zhuǎn)換成圖表、表格、地圖等可視化形式，可以讓數(shù)據(jù)更加直觀、易于理解和分析，避免了僅依靠數(shù)字和文字所帶來的困難。

此處省略......

數(shù)據(jù)可視化展示

代碼省略，請私信博主！??！

3 總結(jié)與分析

3.1 本研究創(chuàng)新之處

此處省略......

3.2 本研究有待改進之處

此處省略......

4 結(jié)論

本項目基于Hadoop平臺，通過MapReduce進行網(wǎng)站日志數(shù)據(jù)的預(yù)處理，利用Hive進行大數(shù)據(jù)分析，實現(xiàn)了對網(wǎng)站PV、獨立IP、用戶注冊數(shù)、跳出用戶數(shù)等指標的統(tǒng)計分析。最后，將統(tǒng)計結(jié)果通過Sqoop導(dǎo)出到MySQL數(shù)據(jù)庫，并利用Python搭建可視化平臺，展示數(shù)據(jù)分析結(jié)果。

此處省略......

每文一語

與其滿而溢，不如適可而止文章來源地址http://www.zghlxwxcb.cn/news/detail-601245.html