国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

這篇具有很好參考價(jià)值的文章主要介紹了【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

0 前言

?? Hi,大家好,這里是丹成學(xué)長(zhǎng)的畢設(shè)系列文章!

?? 對(duì)畢設(shè)有任何疑問(wèn)都可以問(wèn)學(xué)長(zhǎng)哦!

這兩年開(kāi)始,各個(gè)學(xué)校對(duì)畢設(shè)的要求越來(lái)越高,難度也越來(lái)越大… 畢業(yè)設(shè)計(jì)耗費(fèi)時(shí)間,耗費(fèi)精力,甚至有些題目即使是專業(yè)的老師或者碩士生也需要很長(zhǎng)時(shí)間,所以一旦發(fā)現(xiàn)問(wèn)題,一定要提前準(zhǔn)備,避免到后面措手不及,草草了事。

為了大家能夠順利以及最少的精力通過(guò)畢設(shè),學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目,今天要分享的新項(xiàng)目是

?? 基于大數(shù)據(jù)的B站用戶數(shù)據(jù)情感分析

??學(xué)長(zhǎng)這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)

  • 難度系數(shù):4分
  • 工作量:4分
  • 創(chuàng)新點(diǎn):3分

?? 選題指導(dǎo), 項(xiàng)目分享:

https://gitee.com/yaa-dc/BJH/blob/master/gg/cc/README.md


這里學(xué)長(zhǎng)分為兩個(gè)部分描述:

  • 1 對(duì)B站整體視頻進(jìn)行數(shù)據(jù)分析
  • 2 對(duì)B站的具體視頻進(jìn)行彈幕情感分析

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python


1 B站整體視頻數(shù)據(jù)分析

分析方向:首先從總體情況進(jìn)行分析,之后分析綜合排名top100的視頻類(lèi)別。

總體情況部分包括:

  1. 各分區(qū)播放量情況。
  2. 各區(qū)三連(硬幣、收藏、點(diǎn)贊)情況。
  3. 彈幕、評(píng)論、轉(zhuǎn)發(fā)情況。
  4. 繪制綜合詞云圖,查看關(guān)鍵詞匯。

綜合排名top100部分包括:
5. top100類(lèi)別占比。
6. top100播放量情況。
7. 硬幣、收藏、點(diǎn)贊平均人數(shù)分布。
8. 各分區(qū)平均評(píng)論、彈幕、轉(zhuǎn)發(fā)量情況。

1.1 數(shù)據(jù)預(yù)處理

這里主要是進(jìn)行查看數(shù)據(jù)信息、空值、重復(fù)值以及數(shù)據(jù)類(lèi)型,但由于數(shù)據(jù)很完整這里不再做過(guò)多操作。

對(duì)數(shù)據(jù)進(jìn)行拆分、聚合,方便之后各項(xiàng)分析,由于“區(qū)類(lèi)別”列中的“全站”是各分類(lèi)中排名靠前的視頻,會(huì)出現(xiàn)重復(fù)數(shù)據(jù),因此對(duì)其進(jìn)行去除。

df.info()
df.isnull().count()
df.nunique().count()
df.dtypes
#剔除全區(qū)排名
df_nall=df.loc[df['區(qū)類(lèi)別']!='全站']
df_nall['區(qū)類(lèi)別'].value_counts()
#按分?jǐn)?shù)進(jìn)行排序asc
df_top100 = df_nall.sort_values(by='分?jǐn)?shù)',ascending=False)[:100]
df_type = df_nall.drop(['作者','視頻編號(hào)','標(biāo)簽名稱','視頻名稱','排名'],axis=1)
gp_type = df_type.groupby('區(qū)類(lèi)別').sum().astype('int')
type_all = gp_type.index.tolist()

1.2 數(shù)據(jù)可視化

各分區(qū)播放情況

play = [round(i/100000000,2) for i in gp_type['播放次數(shù)'].tolist()]

# bar = (Bar()
#             .add_xaxis(type_all)
#             .add_yaxis("", play)
#             .set_global_opts(
#             title_opts=opts.TitleOpts(title="各分區(qū)播放量情況"),
#             yaxis_opts=opts.AxisOpts(name="次/億"),
#             xaxis_opts=opts.AxisOpts(name="分區(qū)",axislabel_opts={"rotate":45})
#         )
#     )
# bar.render_notebook()

pie = (
    Pie()
    .add(
        "",
        [list(z) for z in zip(type_all, 
                              play)],
        radius=["40%", "75%"],
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各分區(qū)播放量情況  單位:億次"),
        legend_opts=opts.LegendOpts(
            orient="vertical", pos_top="15%", pos_left="2%"
        ),
    )
    .set_series_opts(label_opts=opts.LabelOpts(formatter=": {c}"))
)
pie.render_notebook()

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python
播放量排名前三的分別是生活類(lèi)、動(dòng)畫(huà)類(lèi)、鬼畜類(lèi)。其中動(dòng)畫(huà)類(lèi)和鬼畜類(lèi),這兩個(gè)是B站的特色。
第三、四位是音樂(lè)類(lèi)和科技類(lèi)。

各區(qū)三連量情況可視化

coin_all = [round(i/1000000,2) for i in gp_type['硬幣數(shù)'].tolist()]
like_all = [round(i/1000000,2) for i in gp_type['點(diǎn)贊數(shù)'].tolist()]
favourite_all = [round(i/1000000,2) for i in gp_type['喜歡人數(shù)'].tolist()]
def bar_base() -> Bar:
    c = (
        Bar()
        .add_xaxis(type_all)
        .add_yaxis("硬幣", coin_all)
        .add_yaxis("點(diǎn)贊", like_all)
        .add_yaxis("收藏", favourite_all)
        .set_global_opts(title_opts=opts.TitleOpts(title="各分區(qū)三連情況"),
                        yaxis_opts=opts.AxisOpts(name="次/百萬(wàn)"),
                        xaxis_opts=opts.AxisOpts(name="分區(qū)",
                                                 axislabel_opts={"rotate":45}))
    )
    return c
        
bar_base().render_notebook()

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

雖然生活類(lèi)投幣和點(diǎn)贊數(shù)依然是不可撼動(dòng)的,但是收藏?cái)?shù)卻排在動(dòng)畫(huà)之后,科技類(lèi)收藏升至第四位。

彈幕、評(píng)論、三聯(lián)情況

danmaku_all = [round(i/100000,2) for i in gp_type['彈幕數(shù)'].tolist()]
reply_all = [round(i/100000,2) for i in gp_type['評(píng)論數(shù)'].tolist()]
share_all = [round(i/100000,2) for i in gp_type['轉(zhuǎn)發(fā)數(shù)'].tolist()]

line = (
        Line()
        .add_xaxis(type_all)
        .add_yaxis("彈幕", danmaku_all,label_opts=opts.LabelOpts(is_show=False))
        .add_yaxis("評(píng)論", reply_all,label_opts=opts.LabelOpts(is_show=False))
        .add_yaxis("轉(zhuǎn)發(fā)", share_all,label_opts=opts.LabelOpts(is_show=False))
        .set_global_opts(
            title_opts=opts.TitleOpts(title="彈幕、評(píng)論、轉(zhuǎn)發(fā)情況"),
            tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),
            yaxis_opts=opts.AxisOpts(name="人數(shù) 單位:十萬(wàn)"),
            xaxis_opts=opts.AxisOpts(name="時(shí)間(日)",axislabel_opts={"rotate":45})
            )
        )
line.render_notebook()

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

B站搜索詞云圖

tag_list=','.join(df_nall['標(biāo)簽名稱']).split(',')
tags_count=pd.Series(tag_list).value_counts()

wordcloud = (
    WordCloud()
    .add("",
         [list(z) for z in zip(tags_count.index,tags_count)], 
         word_size_range=[10, 100])
    .set_global_opts(title_opts=opts.TitleOpts(title="熱門(mén)標(biāo)簽"))
)
wordcloud.render_notebook()

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

硬幣、收藏、點(diǎn)贊平均人數(shù)分布

gp_triple_quality = df_top100.groupby('區(qū)類(lèi)別')[['硬幣數(shù)','喜歡人數(shù)','點(diǎn)贊數(shù)',]].mean().astype('int')
gp_index = gp_triple_quality.index.tolist()
gp_coin = gp_triple_quality['硬幣數(shù)'].values.tolist()
gp_favorite = gp_triple_quality['喜歡人數(shù)'].values.tolist()
gp_like = gp_triple_quality['點(diǎn)贊數(shù)'].values.tolist()
max_num = max(gp_triple_quality.values.reshape(-1))

def radar_base() -> Radar:
    c = (
        Radar()
        .add_schema(
            schema=[
                opts.RadarIndicatorItem(name=gp_index[0], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[1], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[2], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[3], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[4], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[5], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[6], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[7], max_=600000),
                opts.RadarIndicatorItem(name=gp_index[8], max_=600000),]
 
        )
        .add("硬幣數(shù)", [gp_coin],color='#40e0d0')
        .add("喜歡人數(shù)", [gp_favorite],color='#1e90ff')
        .add("點(diǎn)贊數(shù)", [gp_like],color='#b8860b')
        .set_series_opts(label_opts=opts.LabelOpts(is_show=False),
                        linestyle_opts=opts.LineStyleOpts(width=3,type_='dotted'),)
        .set_global_opts(title_opts=opts.TitleOpts(title="硬幣、收藏、點(diǎn)贊平均人數(shù)分布"))
    )
    return c
radar_base().render_notebook()

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

生活區(qū)的平均投幣和點(diǎn)贊量依然高于動(dòng)畫(huà)區(qū)。投幣、點(diǎn)贊、收藏最高的分區(qū)分別是:生活、影視、時(shí)尚。除了時(shí)尚區(qū)外,其他分區(qū)的收藏量均低于投幣和點(diǎn)贊,且時(shí)尚區(qū)的收藏量是遠(yuǎn)高其點(diǎn)贊和投幣量。

1.3 分析結(jié)果

從數(shù)據(jù)可視化中可以看到,播放量排名前三的分別是生活類(lèi)、動(dòng)畫(huà)類(lèi)、鬼畜類(lèi),讓人詫異的是以動(dòng)漫起家的B站,播放量最多的視頻分類(lèi)竟然是生活類(lèi)節(jié)目。

對(duì)比總體各分類(lèi)播放情況,top100各類(lèi)占比基本保持不變。生活類(lèi)的平均投幣和點(diǎn)贊量依然高于動(dòng)畫(huà)類(lèi)。投幣、點(diǎn)贊、收藏最高的分區(qū)分別是:生活、影視、時(shí)尚。除了時(shí)尚區(qū)外,其他分區(qū)的收藏量均低于投幣和點(diǎn)贊,且時(shí)尚區(qū)的收藏量是遠(yuǎn)高其點(diǎn)贊和投幣量。

2 單一視頻分析

2.1 數(shù)據(jù)預(yù)處理

B站爬蟲(chóng)代碼Demo


import requests,csv,time
import sys
from bs4 import BeautifulSoup as BS


'''獲取網(wǎng)頁(yè)內(nèi)容'''
def request_get_comment(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)',
               'Cookie': 'LIVE_BUVID=AUTO7215383727315695; stardustvideo=1; rpdid=kwxwwoiokwdoskqkmlspw; '
                         'fts=1540348439; sid=alz55zmj; CURRENT_FNVAL=16; _uuid=08E6859E-EB68-A6B3-5394-65272461BC6E49706infoc; '
                         'im_notify_type_64915445=0; UM_distinctid=1673553ca94c37-0491294d1a7e36-36664c08-144000-1673553ca956ac; '
                         'DedeUserID=64915445; DedeUserID__ckMd5=cc0f686b911c9f2d; SESSDATA=7af19f78%2C1545711896%2Cb812f4b1; '
                         'bili_jct=dc9a675a0d53e8761351d4fb763922d5; BANGUMI_SS_5852_REC=103088; '
                         'buvid3=AE1D37C0-553C-445A-9979-70927B6C493785514infoc; finger=edc6ecda; CURRENT_QUALITY=80; '
                         'bp_t_offset_64915445=199482032395569793; _dfcaptcha=44f6fd1eadc58f99515d2981faadba86'}

    response = requests.get(url=url,headers=headers)
    soup = BS(response.text.encode(response.encoding).decode('utf8'),'lxml')
    result = soup.find_all('d')
    if len(result) == 0:
        return result
    all_list = []
    for item in result:
        barrage_list = item.get('p').split(",")
        barrage_list.append(item.string)
        barrage_list[4] = time.ctime(eval(barrage_list[4]))
        all_list.append(barrage_list)
    return all_list

'''將秒轉(zhuǎn)化為固定格式:"時(shí):分:秒"'''
def sec_to_str(second):
    second = eval(second)
    m,s = divmod(second,60)
    h,m = divmod(m,60)
    dtEventTime = "%02d:%02d:%02d" % (h,m,s)
    return dtEventTime


'''主函數(shù)'''
def main():
    sys.setrecursionlimit(1000000)
    url_list = []
    cid_list = [16980576,16980597,16548432,16483358,16740879,17031320,
           17599975,18226264,17894824,18231028,18491877,18780374]

    tableheader = ['彈幕出現(xiàn)時(shí)間', '彈幕格式', '彈幕字體', '彈幕顏色', '彈幕時(shí)間戳',
                        '彈幕池','用戶ID','rowID','彈幕信息']

    '''最新彈幕文件'''
    for i in range(12):
        url = "https://comment.bilibili.com/%d.xml" % cid_list[i]
        url_list.append(url)
        file_name = "now{}.csv".format(i + 1)
        with open(file_name,'w',newline='',errors='ignore') as fd:
            comment = request_get_comment(url)
            writer = csv.writer(fd)
            # writer.writerow(tableheader)
            if comment:
                for row in comment:
                    print(row)
                    #writer.writerow(row)
            del comment

    '''按照集數(shù),取出彈幕鏈接,進(jìn)行爬蟲(chóng),獲取彈幕記錄,并保存到csv文件'''

    for i in range(12):
        file_name = "d{}.csv".format(i+1)
        for j in range(1,13):
            for date in range(2):
                barrage_url = first_barrage_url.format(cid_list[i],"%02d" % j,"%02d" % (1 + date * 14))
                with open(file_name,'a',newline='',errors='ignore') as fd :
                    writer = csv.writer(fd)
                    writer.writerow(tableheader)
                    final_list = request_get_comment(barrage_url)

                    if final_list:
                        for row in final_list:
                            writer.writerow(row)
                    del (final_list)


if __name__ == "__main__":
    main()

2.2 數(shù)據(jù)清洗

導(dǎo)入數(shù)據(jù)分析庫(kù)

#數(shù)據(jù)處理庫(kù)

import numpy as np

import pandas as pd

import glob

import re

import jieba

#可視化庫(kù)

import stylecloud

import matplotlib.pyplot as plt

import seaborn as sns

%matplotlib inline

from pyecharts.charts import *

from pyecharts import options as opts

from pyecharts.globals import ThemeType 

from IPython.display import Image

#文本挖掘庫(kù)

from snownlp import SnowNLP

from gensim import corpora,models

合并彈幕數(shù)據(jù)

csv_list = glob.glob('/danmu/*.csv')

print('共發(fā)現(xiàn)%s個(gè)CSV文件'% len(csv_list))

print('正在處理............')

for i in csv_list:

    fr = open(i,'r').read()

    with open('danmu_all.csv','a') as f:

        f.write(fr)

print('合并完畢!')

重復(fù)值、缺失值等處理

#error_bad_lines參數(shù)可忽略異常行

df = pd.read_csv("./danmu_all.csv",header=None,error_bad_lines=False)

df = df.iloc[:,[1,2]] #選擇用戶名和彈幕內(nèi)容列

df = df.drop_duplicates() #刪除重復(fù)行

df = df.dropna() #刪除存在缺失值的行

df.columns = ["user","danmu"] #對(duì)字段進(jìn)行命名

清洗后數(shù)據(jù)如下所示:

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

數(shù)據(jù)去重

機(jī)械壓縮去重即數(shù)據(jù)句內(nèi)的去重,我們發(fā)現(xiàn)彈幕內(nèi)容存在例如"啊啊啊啊啊"這種數(shù)據(jù),而實(shí)際做情感分析時(shí),只需要一個(gè)“啊”即可。

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

#定義機(jī)械壓縮去重函數(shù)

def yasuo(st):

    for i in range(1,int(len(st)/2)+1):

        for j in range(len(st)):

            if st[j:j+i] == st[j+i:j+2*i]:

                k = j + i

                while st[k:k+i] == st[k+i:k+2*i] and k<len(st): 

                    k = k + i

                st = st[:j] + st[k:]   

    return st

yasuo(st="啊啊啊啊啊啊啊")

應(yīng)用以上函數(shù),對(duì)彈幕內(nèi)容進(jìn)行句內(nèi)去重。

df["danmu"] = df["danmu"].apply(yasuo)

特殊字符過(guò)濾

另外,我們還發(fā)現(xiàn)有些彈幕內(nèi)容包含表情包、特殊符號(hào)等,這些臟數(shù)據(jù)也會(huì)對(duì)情感分析產(chǎn)生一定影響。

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python
特殊字符直接通過(guò)正則表達(dá)式過(guò)濾,匹配出中文內(nèi)容即可。

df['danmu'] = df['danmu'].str.extract(r"([\u4e00-\u9fa5]+)")

df = df.dropna()  #純表情直接刪除

另外,過(guò)短的彈幕內(nèi)容一般很難看出情感傾向,可以將其一并過(guò)濾。

df = df[df["danmu"].apply(len)>=4]

df = df.dropna()

2.3 數(shù)據(jù)可視化

數(shù)據(jù)可視化分析部分代碼本公眾號(hào)往期原創(chuàng)文章已多次提及,本文不做贅述。從可視化圖表來(lái)看,網(wǎng)友對(duì)《沉默的真相》還是相當(dāng)認(rèn)可的,尤其對(duì)白宇塑造的正義形象江陽(yáng),提及頻率遠(yuǎn)高于其他角色。

整體彈幕詞云

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

主演提及

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

3 文本挖掘(NLP)

3.1 情感分析

情感分析是對(duì)帶有感情色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過(guò)程。按照處理文本的類(lèi)別不同,可分為基于新聞評(píng)論的情感分析和基于產(chǎn)品評(píng)論的情感分析。其中,前者多用于輿情監(jiān)控和信息預(yù)測(cè),后者可幫助用戶了解某一產(chǎn)品在大眾心目中的口碑。目前常見(jiàn)的情感極性分析方法主要是兩種:基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法。

本文主要運(yùn)用Python的第三方庫(kù)SnowNLP對(duì)彈幕內(nèi)容進(jìn)行情感分析,使用方法很簡(jiǎn)單,計(jì)算出的情感score表示語(yǔ)義積極的概率,越接近0情感表現(xiàn)越消極,越接近1情感表現(xiàn)越積極。

df['score'] = df["danmu"].apply(lambda x:SnowNLP(x).sentiments)

df.sample(10) #隨機(jī)篩選10個(gè)彈幕樣本數(shù)據(jù)

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

整體情感傾向

plt.rcParams['font.sans-serif'] = ['SimHei']  # 設(shè)置加載的字體名

plt.rcParams['axes.unicode_minus'] = False  # 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問(wèn)題

plt.figure(figsize=(12, 6)) #設(shè)置畫(huà)布大小

rate = df['score']

ax = sns.distplot(rate,

            hist_kws={'color':'green','label':'直方圖'},

            kde_kws={'color':'red','label':'密度曲線'},

            bins=20) #參數(shù)color樣式為salmon,bins參數(shù)設(shè)定數(shù)據(jù)片段的數(shù)量

ax.set_title("彈幕整體情感傾向  繪圖:「菜J學(xué)Python」公眾號(hào)")

plt.show

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

觀眾對(duì)主演的情感傾向

mapping = {'jiangyang':'白宇|江陽(yáng)', 'yanliang':'廖凡|嚴(yán)良', 'zhangchao':'寧理|張超','lijing':'譚卓|李靜', 'wengmeixiang':'李嘉欣|翁美香'}

for key, value in mapping.items():

    df[key] = df['danmu'].str.contains(value)

average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()})

print(average_value.sort_values())

由各主要角色情感得分均值可知,觀眾對(duì)他們都表現(xiàn)出積極的情感。翁美香和李靜的情感得分均值相對(duì)高一些,難道是男性觀眾偏多?江陽(yáng)的情感傾向相對(duì)較低,可能是觀眾對(duì)作為正義化身的他慘遭各種不公而鳴不平吧。

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

主題分析

這里的主題分析主要是將彈幕情感得分劃分為兩類(lèi),分別為積極類(lèi)(得分在0.8以上)和消極類(lèi)(得分在0.3以下),然后再在各類(lèi)里分別細(xì)分出5個(gè)主題,有助于挖掘出觀眾情感產(chǎn)生的原因。

首先,篩選出兩大類(lèi)分別進(jìn)行分詞。

#分詞

data1 = df['danmu'][df["score"]>=0.8]

data2 = df['danmu'][df["score"]<0.3]

word_cut = lambda x:' '.join(jieba.cut(x)) #以空格隔開(kāi)

data1 = data1.apply(word_cut)

data2 = data2.apply(word_cut)

print(data1)

print('----------------------')

print(data2)

123456789

首先,篩選出兩大類(lèi)分別進(jìn)行分詞。

#去除停用詞

stop = pd.read_csv("/菜J學(xué)Python/stop_words.txt",encoding='utf-8',header=None,sep='tipdm')

stop = [' ',''] + list(stop[0])

#print(stop)

pos = pd.DataFrame(data1)

neg = pd.DataFrame(data2)

pos["danmu_1"] = pos["danmu"].apply(lambda s:s.split(' '))

pos["danmu_pos"] = pos["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

#print(pos["danmu_pos"])

neg["danmu_1"] = neg["danmu"].apply(lambda s:s.split(' '))

neg["danmu_neg"] = neg["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

其次,對(duì)積極類(lèi)彈幕進(jìn)行主題分析。

#正面主題分析

pos_dict = corpora.Dictionary(pos["danmu_pos"]) #建立詞典

#print(pos_dict)

pos_corpus = [pos_dict.doc2bow(i) for i in pos["danmu_pos"]] #建立語(yǔ)料庫(kù)

pos_lda = models.LdaModel(pos_corpus,num_topics=5,id2word=pos_dict) #LDA模型訓(xùn)練

print("正面主題分析:")

for i in range(5):

    print('topic',i+1)

    print(pos_lda.print_topic(i)) #輸出每個(gè)主題

    print('-'*50)

結(jié)果如下:

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python

最后,對(duì)消極類(lèi)彈幕進(jìn)行主題分析。

#負(fù)面主題分析

neg_dict = corpora.Dictionary(neg["danmu_neg"]) #建立詞典

#print(neg_dict)

neg_corpus = [neg_dict.doc2bow(i) for i in neg["danmu_neg"]] #建立語(yǔ)料庫(kù)

neg_lda = models.LdaModel(neg_corpus,num_topics=5,id2word=neg_dict) #LDA模型訓(xùn)練

print("負(fù)面面主題分析:")

for j in range(5):

    print('topic',j+1)

    print(neg_lda.print_topic(j)) #輸出每個(gè)主題

    print('-'*50)

結(jié)果如下:

【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-411543.html

4 最后

到了這里,關(guān)于【畢業(yè)設(shè)計(jì)】大數(shù)據(jù)B站用戶數(shù)據(jù)情感分析系統(tǒng) - python的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 畢業(yè)設(shè)計(jì) 大數(shù)據(jù)電商用戶行為分析及可視化(源碼+論文)

    畢業(yè)設(shè)計(jì) 大數(shù)據(jù)電商用戶行為分析及可視化(源碼+論文)

    今天學(xué)長(zhǎng)向大家介紹一個(gè)機(jī)器視覺(jué)的畢設(shè)項(xiàng)目,大數(shù)據(jù)電商用戶行為分析及可視化(源碼+論文) 項(xiàng)目運(yùn)行效果: 畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)淘寶用戶行為分析 項(xiàng)目獲取: https://gitee.com/assistant-a/project-sharing 這是一份來(lái)自淘寶的用戶行為數(shù)據(jù),時(shí)間區(qū)間為 2017-11-25 到 2017-12-03,總計(jì)

    2024年02月22日
    瀏覽(27)
  • 【畢業(yè)設(shè)計(jì)】 大數(shù)據(jù)地鐵客流數(shù)據(jù)分析系統(tǒng) - python

    【畢業(yè)設(shè)計(jì)】 大數(shù)據(jù)地鐵客流數(shù)據(jù)分析系統(tǒng) - python

    ?? Hi,大家好,這里是丹成學(xué)長(zhǎng)的畢設(shè)系列文章! ?? 對(duì)畢設(shè)有任何疑問(wèn)都可以問(wèn)學(xué)長(zhǎng)哦! 這兩年開(kāi)始,各個(gè)學(xué)校對(duì)畢設(shè)的要求越來(lái)越高,難度也越來(lái)越大… 畢業(yè)設(shè)計(jì)耗費(fèi)時(shí)間,耗費(fèi)精力,甚至有些題目即使是專業(yè)的老師或者碩士生也需要很長(zhǎng)時(shí)間,所以一旦發(fā)現(xiàn)問(wèn)題,一定

    2023年04月08日
    瀏覽(22)
  • 畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)的旅游數(shù)據(jù)分析與可視化系統(tǒng)

    畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)的旅游數(shù)據(jù)分析與可視化系統(tǒng)

    ?? 這兩年開(kāi)始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升,傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn),往往達(dá)不到畢業(yè)答辯的要求,這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。 為了大家能夠順利以及最少的精力通過(guò)畢設(shè),學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目,今天

    2023年04月26日
    瀏覽(27)
  • 大數(shù)據(jù)畢業(yè)設(shè)計(jì) 共享單車(chē)數(shù)據(jù)分析與可視化系統(tǒng) - Python

    大數(shù)據(jù)畢業(yè)設(shè)計(jì) 共享單車(chē)數(shù)據(jù)分析與可視化系統(tǒng) - Python

    ?? 這兩年開(kāi)始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升,傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn),往往達(dá)不到畢業(yè)答辯的要求,這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。 為了大家能夠順利以及最少的精力通過(guò)畢設(shè),學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目,今天

    2024年02月06日
    瀏覽(31)
  • 大數(shù)據(jù)畢業(yè)設(shè)計(jì) Python疫情數(shù)據(jù)分析可視化系統(tǒng) - 網(wǎng)絡(luò)爬蟲(chóng)

    大數(shù)據(jù)畢業(yè)設(shè)計(jì) Python疫情數(shù)據(jù)分析可視化系統(tǒng) - 網(wǎng)絡(luò)爬蟲(chóng)

    ?? 這兩年開(kāi)始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升,傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn),往往達(dá)不到畢業(yè)答辯的要求,這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。 為了大家能夠順利以及最少的精力通過(guò)畢設(shè),學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目,今天

    2024年02月02日
    瀏覽(29)
  • 畢業(yè)設(shè)計(jì):基于大數(shù)據(jù)的衣食住行消費(fèi)數(shù)據(jù)分析可視化系統(tǒng)

    畢業(yè)設(shè)計(jì):基于大數(shù)據(jù)的衣食住行消費(fèi)數(shù)據(jù)分析可視化系統(tǒng)

    ? 目錄 ?前言 設(shè)計(jì)思路 一、課題背景與意義 二、算法理論原理 三、檢測(cè)的實(shí)現(xiàn) 3.1 數(shù)據(jù)集 3.2 實(shí)驗(yàn)環(huán)境搭建 3.3 實(shí)驗(yàn)及結(jié)果分析 最后 ? ? ? ???大四是整個(gè)大學(xué)期間最忙碌的時(shí)光,一邊要忙著備考或?qū)嵙?xí)為畢業(yè)后面臨的就業(yè)升學(xué)做準(zhǔn)備,一邊要為畢業(yè)設(shè)計(jì)耗費(fèi)大量精力。近幾

    2024年02月21日
    瀏覽(25)
  • 畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)的游數(shù)據(jù)分析可視化系統(tǒng)(源碼分享)

    畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)的游數(shù)據(jù)分析可視化系統(tǒng)(源碼分享)

    今天學(xué)長(zhǎng)向大家分享一個(gè)畢業(yè)設(shè)計(jì)項(xiàng)目 畢業(yè)設(shè)計(jì) 基于大數(shù)據(jù)的游數(shù)據(jù)分析可視化系統(tǒng)(源碼分享) 演示效果 畢業(yè)設(shè)計(jì) 大同旅游數(shù)據(jù)分析可視化系統(tǒng) 項(xiàng)目獲?。?https://gitee.com/sinonfin/algorithm-sharing 精神文明日益發(fā)展的今天, 出行旅游成為人們的主要休閑方式和社會(huì)經(jīng)濟(jì)活動(dòng), 旅游

    2024年02月04日
    瀏覽(25)
  • 基于python電影票房數(shù)據(jù)分析可視化系統(tǒng) 畢業(yè)設(shè)計(jì)開(kāi)題報(bào)告

    ?博主介紹 :《Vue.js入門(mén)與商城開(kāi)發(fā)實(shí)戰(zhàn)》《微信小程序商城開(kāi)發(fā)》圖書(shū)作者,CSDN博客專家,在線教育專家,CSDN鉆石講師;專注大學(xué)生畢業(yè)設(shè)計(jì)教育和輔導(dǎo)。 所有項(xiàng)目都配有從入門(mén)到精通的基礎(chǔ)知識(shí)視頻課程,免費(fèi) 項(xiàng)目配有對(duì)應(yīng)開(kāi)發(fā)文檔、開(kāi)題報(bào)告、任務(wù)書(shū)、PPT、論文模版

    2024年02月05日
    瀏覽(34)
  • 大數(shù)據(jù)畢業(yè)設(shè)計(jì) 二手房數(shù)據(jù)爬取與分析可視化系統(tǒng) -python

    大數(shù)據(jù)畢業(yè)設(shè)計(jì) 二手房數(shù)據(jù)爬取與分析可視化系統(tǒng) -python

    # 1 前言 ?? 這兩年開(kāi)始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升,傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn),往往達(dá)不到畢業(yè)答辯的要求,這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。 為了大家能夠順利以及最少的精力通過(guò)畢設(shè),學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)

    2024年02月16日
    瀏覽(31)
  • 基于python天氣數(shù)據(jù)的預(yù)測(cè)分析及可視化系統(tǒng) 畢業(yè)設(shè)計(jì)開(kāi)題報(bào)告

    ?博主介紹 :《Vue.js入門(mén)與商城開(kāi)發(fā)實(shí)戰(zhàn)》《微信小程序商城開(kāi)發(fā)》圖書(shū)作者,CSDN博客專家,在線教育專家,CSDN鉆石講師;專注大學(xué)生畢業(yè)設(shè)計(jì)教育和輔導(dǎo)。 所有項(xiàng)目都配有從入門(mén)到精通的基礎(chǔ)知識(shí)視頻課程,免費(fèi) 項(xiàng)目配有對(duì)應(yīng)開(kāi)發(fā)文檔、開(kāi)題報(bào)告、任務(wù)書(shū)、PPT、論文模版

    2024年02月04日
    瀏覽(28)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包