国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<small id="9v6hh"></small>

陌陌聊天數(shù)據(jù)分析（一）

2年前作者：Rkun18分類：Toy博客閱讀(14)違法舉報

這篇具有很好參考價值的文章主要介紹了陌陌聊天數(shù)據(jù)分析（一）。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

陌陌聊天數(shù)據(jù)分析（一）

目標(biāo)

基于Hadoop和Hive實現(xiàn)聊天數(shù)據(jù)統(tǒng)計分析，構(gòu)建聊天數(shù)據(jù)分析報表

需求

統(tǒng)計今日總消息量
統(tǒng)計今日每小時消息量，發(fā)送和接收用戶數(shù)量
統(tǒng)計今日各地區(qū)發(fā)送消息數(shù)據(jù)量
統(tǒng)計今日發(fā)送消息和接收消息用戶數(shù)
統(tǒng)計今日發(fā)送消息最多的用戶前幾名
統(tǒng)計今日接收消息最多的用戶前幾名
統(tǒng)計發(fā)送人手機型號分布情況
統(tǒng)計發(fā)送人設(shè)備系統(tǒng)分布情況

數(shù)據(jù)來源

聊天業(yè)務(wù)系統(tǒng)導(dǎo)出2021/11/01一天24小時用戶聊天數(shù)據(jù)，以TSV文本形式存儲在文件中
- 數(shù)據(jù)大小：兩個文件共14萬條數(shù)據(jù)
- 列分隔符：\t

數(shù)據(jù)集及所需文件

鏈接：https://pan.baidu.com/s/1ToTanDrFRhAVsFTb2uclFg
提取碼：rkun

??基于Hive數(shù)倉實現(xiàn)需求開發(fā)

?建庫建表加載數(shù)據(jù)

建庫建表

--創(chuàng)建數(shù)據(jù)庫
create database db_msg;
--切換數(shù)據(jù)庫
use db_msg;

--建表
create table db_msg.tb_msg_source(
  msg_time             string  comment "消息發(fā)送時間"
  , sender_name        string  comment "發(fā)送人昵稱"
  , sender_account     string  comment "發(fā)送人賬號"
  , sender_sex         string  comment "發(fā)送人性別"
  , sender_ip          string  comment "發(fā)送人IP"
  , sender_os          string  comment "發(fā)送人操作系統(tǒng)"
  , sender_phonetype   string  comment "發(fā)送人手機型號"
  , sender_network     string  comment "發(fā)送人網(wǎng)絡(luò)類型"
  , sender_gps         string  comment "發(fā)送人GPS定位"
  , receiver_name      string  comment "接收人昵稱"
  , receiver_ip        string  comment "接收人IP"
  , receiver_account   string  comment "接收人賬號"
  , receiver_os        string  comment "接收人操作系統(tǒng)"
  , receiver_phonetype string  comment "接收人手機型號"
  , receiver_network   string  comment "接收人網(wǎng)絡(luò)類型"
  , receiver_gps       string  comment "接收人GPS定位"
  , receiver_sex       string  comment "接收人性別"
  , msg_type           string  comment "消息類型"
  , distance           string  comment "雙方距離"
  , message            string  comment "消息內(nèi)容"
)
--指定分隔符為制表符
row format delimited fields terminated by '\t';

加載數(shù)據(jù)

#上傳數(shù)據(jù)到node1服務(wù)器本地文件系統(tǒng)(HS2服務(wù)所在機器)
[root@node1 hivedata]# pwd
/root/hivedata
[root@node1 hivedata]# ll
total 54104
-rw-r--r-- 1 root root 28237023 Jun 13 20:24 data1.tsv
-rw-r--r-- 1 root root 27161148 Jun 13 20:24 data2.tsv

--加載數(shù)據(jù)入表
load data local inpath '/root/hivedata/data1.tsv' into table db_msg.tb_msg_source;
load data local inpath '/root/hivedata/data2.tsv' into table db_msg.tb_msg_source;

查詢表，查看數(shù)據(jù)是否導(dǎo)入成功

--查詢表
select * from tb_msg_source limit 5;

陌陌聊天數(shù)據(jù)分析（一）

?ETL數(shù)據(jù)清洗

數(shù)據(jù)問題

當(dāng)前數(shù)據(jù)，一些數(shù)據(jù)字段為空，不是合法數(shù)據(jù)。
需求需要統(tǒng)計每天每個小時消息量，但數(shù)據(jù)中沒有天和小時字段，只有整體時間字段，不好處理。
需求中，GPS對經(jīng)緯度在同一字段，不好處理。

ETL需求

對字段為空的不合法數(shù)據(jù)進(jìn)行過濾
- where過濾
通過時間字段構(gòu)建天和小時字段
- substr函數(shù)
從GPS經(jīng)緯度提取經(jīng)緯度
- split函數(shù)
將ETL以后的結(jié)果保存到一張新的Hive表中
- create table …as select…

create table db_msg.tb_msg_etl as
select *,
       substr(msg_time, 0, 10)   as dayinfo,    --獲取天
       substr(msg_time, 12, 2)   as hourinfo,   --獲取小時
       split(sender_gps, ",")[0] as sender_lng, --經(jīng)度
       split(sender_gps, ",")[1] as sender_lat  --緯度
from db_msg.tb_msg_source
--過濾字段為空數(shù)據(jù)
where length(sender_gps) > 0;

select
    msg_time,dayinfo,hourinfo,sender_gps,sender_lng,sender_lat
from db_msg.tb_msg_etl
limit 5;
--查詢數(shù)據(jù)

陌陌聊天數(shù)據(jù)分析（一）

??需求指標(biāo)SQL

解讀需求
確定待查詢數(shù)據(jù)表 from
分析維度 group by
找出計算指標(biāo) 聚合
細(xì)節(jié) 過濾排序

統(tǒng)計今日消息總量

--需求：統(tǒng)計今日總消息量
create table if not exists tb_rs_total_msg_cnt
comment "今日消息總量"
as
select
  dayinfo,
  count(*) as total_msg_cnt
from db_msg.tb_msg_etl
group by dayinfo;

--查詢
select * from tb_rs_total_msg_cnt ;

+------------------------------+------------------------------------+
| tb_rs_total_msg_cnt.dayinfo  | tb_rs_total_msg_cnt.total_msg_cnt  |
+------------------------------+------------------------------------+
| 2021-11-01                   | 139062                             |
+------------------------------+------------------------------------+

統(tǒng)計今日每小時消息量，發(fā)送/接收用戶數(shù)

create table tb_rs_hour_msg_cnt
comment "每小時消息量趨勢"
as
select
    dayinfo,
    hourinfo,
    count(*) as total_msg_cnt,
    count(distinct sender_account) as sender_usr_cnt,
    count(distinct receiver_account)as receiver_usr_cnt
from db_msg.tb_msg_etl
group by dayinfo,hourinfo;

select * from tb_rs_hour_msg_cnt limit 5;

+-----------------------------+------------------------------+-----------------------------------+------------------------------------+--------------------------------------+
| tb_rs_hour_msg_cnt.dayinfo  | tb_rs_hour_msg_cnt.hourinfo  | tb_rs_hour_msg_cnt.total_msg_cnt  | tb_rs_hour_msg_cnt.sender_usr_cnt  | tb_rs_hour_msg_cnt.receiver_usr_cnt  |
+-----------------------------+------------------------------+-----------------------------------+------------------------------------+--------------------------------------+
| 2021-11-01                  | 00                           | 4349                              | 3520                               | 3558                                 |
| 2021-11-01                  | 01                           | 2892                              | 2524                               | 2537                                 |
| 2021-11-01                  | 02                           | 882                               | 842                                | 838                                  |
| 2021-11-01                  | 03                           | 471                               | 463                                | 460                                  |
| 2021-11-01                  | 04                           | 206                               | 202                                | 205                                  |
+-----------------------------+------------------------------+-----------------------------------+------------------------------------+--------------------------------------+

統(tǒng)計今日各地區(qū)發(fā)送消息數(shù)據(jù)量

create table tb_rs_loc_cnt
comment "今日各地區(qū)發(fā)送總消息量"
as select
  dayinfo,
  sender_gps,
  cast(sender_lng as double) as longitude,
  cast(sender_lat as double) as latitude,
  count(*) as total_msg_cnt
from tb_msg_etl
group by dayinfo, sender_gps, sender_lng,sender_lat;


select * from tb_rs_loc_cnt limit 5;

+------------------------+---------------------------+--------------------------+-------------------------+------------------------------+
| tb_rs_loc_cnt.dayinfo  | tb_rs_loc_cnt.sender_gps  | tb_rs_loc_cnt.longitude  | tb_rs_loc_cnt.latitude  | tb_rs_loc_cnt.total_msg_cnt  |
+------------------------+---------------------------+--------------------------+-------------------------+------------------------------+
| 2021-11-01             | 100.297355,24.206808      | 100.297355               | 24.206808               | 1397                         |
| 2021-11-01             | 100.591712,24.004148      | 100.591712               | 24.004148               | 1406                         |
| 2021-11-01             | 101.62196,36.782187       | 101.62196                | 36.782187               | 1439                         |
| 2021-11-01             | 102.357852,23.801165      | 102.357852               | 23.801165               | 1399                         |
| 2021-11-01             | 102.357852,25.682909      | 102.357852               | 25.682909               | 1431                         |
+------------------------+---------------------------+--------------------------+-------------------------+------------------------------+

統(tǒng)計今日發(fā)送消息和接受消息用戶數(shù)

create table tb_rs_usr_cnt
comment "今日發(fā)送消息人數(shù)、接受消息人數(shù)"
as
select
  dayinfo,
  count(distinct sender_account) as sender_usr_cnt,
  count(distinct receiver_account) as receiver_usr_cnt
from db_msg.tb_msg_etl
group by dayinfo;

select * from tb_rs_usr_cnt ;

+------------------------+-------------------------------+---------------------------------+
| tb_rs_usr_cnt.dayinfo  | tb_rs_usr_cnt.sender_usr_cnt  | tb_rs_usr_cnt.receiver_usr_cnt  |
+------------------------+-------------------------------+---------------------------------+
| 2021-11-01             | 10008                         | 10005                           |
+------------------------+-------------------------------+---------------------------------+

統(tǒng)計今日發(fā)送消息最多的Top10用戶

create table tb_rs_susr_top10
comment "發(fā)送消息條數(shù)最多的Top10用戶"
as
select
  dayinfo,
  sender_name as username,
  count(*) as sender_msg_cnt
from db_msg.tb_msg_etl
group by dayinfo,sender_name
order by sender_msg_cnt desc
limit 10;

select * from tb_rs_susr_top10;

+---------------------------+----------------------------+----------------------------------+
| tb_rs_susr_top10.dayinfo  | tb_rs_susr_top10.username  | tb_rs_susr_top10.sender_msg_cnt  |
+---------------------------+----------------------------+----------------------------------+
| 2021-11-01                | 茹鴻暉                        | 1466                             |
| 2021-11-01                | 盧高達(dá)                        | 1464                             |
| 2021-11-01                | 犁彭祖                        | 1460                             |
| 2021-11-01                | 沐范                         | 1459                             |
| 2021-11-01                | 夫濰                         | 1452                             |
| 2021-11-01                | 煙心思                        | 1449                             |
| 2021-11-01                | 稱子瑜                        | 1447                             |
| 2021-11-01                | 麻宏放                        | 1442                             |
| 2021-11-01                | 邴時                         | 1439                             |
| 2021-11-01                | 養(yǎng)昆頡                        | 1431                             |
+---------------------------+----------------------------+----------------------------------+

統(tǒng)計今日接受消息最多的Top10用戶

create table tb_rs_rusr_top10
comment "接受消息條數(shù)最多的Top10用戶"
as
select
  dayinfo,
  receiver_name as username,
  count(*) as receiver_msg_cnt
from db_msg.tb_msg_etl
group by dayinfo,receiver_name
order by receiver_msg_cnt desc
limit 10;

select * from tb_rs_rusr_top10 limit 3;

+---------------------------+----------------------------+------------------------------------+
| tb_rs_rusr_top10.dayinfo  | tb_rs_rusr_top10.username  | tb_rs_rusr_top10.receiver_msg_cnt  |
+---------------------------+----------------------------+------------------------------------+
| 2021-11-01                | 暢雅柏                        | 1539                               |
| 2021-11-01                | 春純                         | 1491                               |
| 2021-11-01                | 鄺琨瑤                        | 1469                               |
+---------------------------+----------------------------+------------------------------------+

統(tǒng)計發(fā)送人手機型號分布情況

create table if not exists tb_rs_sender_phone
comment "發(fā)送人的手機型號分布"
as
select
  dayinfo,
  sender_phonetype,
  count(distinct sender_account) as cnt
from tb_msg_etl
group by dayinfo,sender_phonetype;

select * from tb_rs_sender_phone limit 3;

+-----------------------------+--------------------------------------+-------------------------+
| tb_rs_sender_phone.dayinfo  | tb_rs_sender_phone.sender_phonetype  | tb_rs_sender_phone.cnt  |
+-----------------------------+--------------------------------------+-------------------------+
| 2021-11-01                  | Apple iPhone 10                      | 6749                    |
| 2021-11-01                  | Apple iPhone 11                      | 3441                    |
| 2021-11-01                  | Apple iPhone 7                       | 2424                    |
+-----------------------------+--------------------------------------+-------------------------+

統(tǒng)計發(fā)送人設(shè)備操作系統(tǒng)分布情況

create table tb_rs_sender_os
comment "發(fā)送人的OS分布"
as
select
  dayinfo,
  sender_os,
  count(distinct sender_account) as cnt
from tb_msg_etl
group by dayinfo,sender_os;

select * from tb_rs_sender_os;

+--------------------------+----------------------------+----------------------+
| tb_rs_sender_os.dayinfo  | tb_rs_sender_os.sender_os  | tb_rs_sender_os.cnt  |
+--------------------------+----------------------------+----------------------+
| 2021-11-01               | Android 5.1                | 5750                 |
| 2021-11-01               | Android 6                  | 8514                 |
| 2021-11-01               | Android 6.0                | 9398                 |
| 2021-11-01               | Android 7.0                | 9181                 |
| 2021-11-01               | Android 8.0                | 8594                 |
| 2021-11-01               | IOS 10.0                   | 1289                 |
| 2021-11-01               | IOS 12.0                   | 8102                 |
| 2021-11-01               | IOS 9.0                    | 8760                 |
+--------------------------+----------------------------+----------------------+

?

???FineBI實現(xiàn)可視化報表

官網(wǎng)

https://www.finebi.com/

??配置數(shù)據(jù)源及數(shù)據(jù)準(zhǔn)備

官方文檔

https://help.fanruan.com/finebi/doc-view-301.html

使用FineBI連接Hive，讀取Hive數(shù)據(jù)表，需要在FineBI中添加Hive驅(qū)動jar包
將Hive驅(qū)動jar包放入FineBI的lib目錄下
找到提供文件的HiveConnectDrive

陌陌聊天數(shù)據(jù)分析（一）

放入安裝路徑下的 webapps\webroot\WEB-INF\lib

陌陌聊天數(shù)據(jù)分析（一）

插件安裝

我們自己Hive驅(qū)動包會與FineBI自帶驅(qū)動包沖突，導(dǎo)致FineBI無法識別我們自己的驅(qū)動
安裝FineBI官方提供驅(qū)動包隔離插件

隔離插件：fr-plugin-hive-driver-loader-3.0.zip

安裝插件
重啟FineBI文章來源地址http://www.zghlxwxcb.cn/news/detail-490053.html

到了這里，關(guān)于陌陌聊天數(shù)據(jù)分析（一）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

基于Hadoop和Hive的聊天數(shù)據(jù)（FineBI）可視化分析
目錄 1. 準(zhǔn)備工作 2. 新建數(shù)據(jù)庫連接 3. 在Hive數(shù)據(jù)庫中創(chuàng)建存放數(shù)據(jù)的表 4. ETL數(shù)據(jù)清洗 5. 指標(biāo) ?6. 進(jìn)入Fine BI數(shù)據(jù)中心參考內(nèi)容https://www.bilibili.com/read/cv15490959/ 數(shù)據(jù)文件、jar包、插件 https://pan.baidu.com/s/1Mpquo0EgkyZtLHrCPIK2Qg?pwd=7w0k 在FineBI6.0webappswebrootWEB-INFlib下放置jar包啟動
2024年04月17日
瀏覽(66)
【數(shù)據(jù)分析】：什么是數(shù)據(jù)分析？
??個人主頁：JoJo的數(shù)據(jù)分析歷險記 ??個人介紹：統(tǒng)計學(xué)top3 研究生 ??如果文章對你有幫助，歡迎? 關(guān)注、?? 點贊、? 收藏、?? 訂閱專欄 ?本文收錄于【數(shù)據(jù)分析】本專欄介紹數(shù)據(jù)分析從入門到項目實戰(zhàn)，包含用戶分析、留存分析、行業(yè)分析等。本系列會堅持完成
2024年02月11日
瀏覽(22)
數(shù)據(jù)分析_數(shù)據(jù)分析思維(1)
這篇文章具體的給大家介紹數(shù)據(jù)分析中最為核心的技術(shù)之一: 數(shù)據(jù)分析思維的相關(guān)內(nèi)容。作為新手?jǐn)?shù)據(jù)分析師或數(shù)據(jù)運營, 在面對數(shù)據(jù)異常的時候, 好多小伙伴都會出現(xiàn): “好像是A引起的”, “好像也和B渠道有關(guān)”, “也可能是競爭對手 C 做了競爭動作” 等主觀臆測。面對數(shù)據(jù)
2024年04月26日
瀏覽(24)
數(shù)據(jù)分析：消費者數(shù)據(jù)分析
作者：i阿極作者簡介：Python領(lǐng)域新星作者、多項比賽獲獎?wù)撸翰┲鱾€人首頁 ??????如果覺得文章不錯或能幫助到你學(xué)習(xí)，可以點贊??收藏??評論??+關(guān)注哦！?????? ??????如果有小伙伴需要數(shù)據(jù)集和學(xué)習(xí)交流，文章下方有交流學(xué)習(xí)區(qū)！一起學(xué)習(xí)進(jìn)步！?? 隨著互聯(lián)網(wǎng)
2024年01月15日
瀏覽(22)
數(shù)據(jù)分析基礎(chǔ):數(shù)據(jù)可視化+數(shù)據(jù)分析報告
數(shù)據(jù)分析是指通過對大量數(shù)據(jù)進(jìn)行收集、整理、處理和分析，以發(fā)現(xiàn)其中的模式、趨勢和關(guān)聯(lián)，并從中提取有價值的信息和知識。數(shù)據(jù)可視化和數(shù)據(jù)分析報告是數(shù)據(jù)分析過程中非常重要的兩個環(huán)節(jié)，它們幫助將數(shù)據(jù)轉(zhuǎn)化為易于理解和傳達(dá)的形式，提供決策支持和洞察力。在接
2024年02月07日
瀏覽(32)
【數(shù)據(jù)分析】：數(shù)據(jù)分析三大思路及方法
在上一篇博文【什么是數(shù)據(jù)分析】中，我們介紹了數(shù)據(jù)分析的基本概念、流程、方法。這篇文章我們來看看數(shù)據(jù)分析的基本思路以及常見的數(shù)據(jù)分析方法。在互聯(lián)網(wǎng)分析中，基本遵循以下三個步驟：找出問題分析問題解決問題接下來，我們來看看如何進(jìn)行一個完整的數(shù)據(jù)分
2023年04月09日
瀏覽(29)
【業(yè)務(wù)數(shù)據(jù)分析】——十大常用數(shù)據(jù)分析方法
???♂? 個人主頁：@Lingxw_w的個人主頁 ???作者簡介：計算機科學(xué)與技術(shù)研究生在讀 ?? 希望大家多多支持，我們一起進(jìn)步！?? 如果文章對你有幫助的話，歡迎評論 ??點贊???? 收藏 ??加關(guān)注+? 目錄一、數(shù)據(jù)分析方法二、營銷管理方法論 1、SWOT分析 2、PEST分析 3、
2023年04月22日
瀏覽(20)
數(shù)據(jù)分析講課筆記01：數(shù)據(jù)分析概述
理解數(shù)據(jù)分析背景：學(xué)生將能夠闡述大數(shù)據(jù)時代對數(shù)據(jù)分析的影響，以及數(shù)據(jù)分析在商業(yè)決策、科研發(fā)現(xiàn)、產(chǎn)品優(yōu)化等方面的重要作用。掌握數(shù)據(jù)分析基本概念與分類：學(xué)生應(yīng)能清晰定義數(shù)據(jù)分析的概念，并能區(qū)分描述性數(shù)據(jù)分析（用于總結(jié)和解釋數(shù)據(jù)集的特征）、探索性
2024年02月01日
瀏覽(20)
Python數(shù)據(jù)分析—基于機器學(xué)習(xí)的UCI心臟病數(shù)據(jù)分析（源碼+數(shù)據(jù)+分析設(shè)計）
下載鏈接：https://pan.baidu.com/s/1ys2F6ZH4EgnFdVP2mkTcsA?pwd=LCFZ 提取碼：LCFZ 心臟病是一類比較常見的循環(huán)系統(tǒng)疾病。循環(huán)系統(tǒng)由心臟、血管和調(diào)節(jié)血液循環(huán)的神經(jīng)體液組織構(gòu)成，循環(huán)系統(tǒng)疾病也稱為心血管病，包括上述所有組織器官的疾病，在內(nèi)科疾病中屬于常見病，其中以心臟病
2024年02月07日
瀏覽(27)
淺析『鏈上數(shù)據(jù)分析』：區(qū)塊鏈 + 數(shù)據(jù)分析
什么是鏈上數(shù)據(jù)分析？ 01 區(qū)塊鏈 02 鏈上數(shù)據(jù) 03 為什么要分析鏈上數(shù)據(jù) 04 數(shù)據(jù)分析思維 05 數(shù)據(jù)分析技能 06 數(shù)據(jù)分析工具 07 業(yè)務(wù)邏輯理解鏈上數(shù)據(jù)分析，顧名思義，就是對區(qū)塊鏈上的數(shù)據(jù)進(jìn)行分析。其實就是將數(shù)據(jù)分析運用到區(qū)塊鏈行業(yè)上，和其他的如電商數(shù)據(jù)分析一樣，
2023年04月08日
瀏覽(20)

<ol id="thqie"><table id="thqie"></table></ol>

<rp id="thqie"><strong id="thqie"></strong></rp>