項(xiàng)目：基于python社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
摘 要
社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)是一種能自動(dòng)從網(wǎng)絡(luò)上收集信息的工具，可根據(jù)用戶的需求定向采集特定數(shù)據(jù)信息的工具，本項(xiàng)目通過研究爬取微博網(wǎng)來實(shí)現(xiàn)社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)功能。對(duì)于采集微博熱點(diǎn)群體發(fā)現(xiàn)信息數(shù)量較少的工作而言，實(shí)現(xiàn)一個(gè)網(wǎng)頁下載程序不會(huì)很麻煩，但是，當(dāng)從網(wǎng)絡(luò)上采集海量信息的時(shí)候，爬蟲系統(tǒng)的實(shí)現(xiàn)將變得十分復(fù)雜。
社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)爬蟲技術(shù)僅僅處理數(shù)據(jù)抽取這一步。網(wǎng)絡(luò)爬蟲只將網(wǎng)絡(luò)上的頁面下載下來，對(duì)下載的非結(jié)構(gòu)化數(shù)據(jù)沒有進(jìn)行處理，而直接將其保存到數(shù)據(jù)庫之中。這樣做的劣勢(shì)在于：搜索引擎的后續(xù)操作首先要從數(shù)據(jù)庫種獲取到這些非結(jié)構(gòu)化信息，然后再進(jìn)一步的進(jìn)行信息的處理。這樣無形之中增添了兩次操作數(shù)據(jù)庫的任務(wù)量，在數(shù)據(jù)量極其龐大的背景下，會(huì)大大降低整個(gè)系統(tǒng)的效率。
社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)當(dāng)前最為流程的python技術(shù)來實(shí)現(xiàn)對(duì)爬蟲各功能。
關(guān)鍵詞：msyql；信息；python；社交網(wǎng)絡(luò)大數(shù)據(jù)分析 ；爬蟲
目? ? 錄
本 科 生 畢 業(yè) 論 文（設(shè)計(jì)） II
題目：基于python社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) II
摘 要 III
Abstract IV
第一章 概述 1
1．1 研究背景 1
1．2? 目的及意義 1
1．3 系統(tǒng)體系結(jié)構(gòu) 2
1．4 Python技術(shù) 2
第二章 系統(tǒng)需求分析 4
2．1可行性分析 4
2.1.1經(jīng)濟(jì)上的可行性 4
2.1.2技術(shù)上的可行性 4
2.1.3操作上的可行性 4
2．2功能需求分析 4
2．3 系統(tǒng)用例圖 5
2．4 業(yè)務(wù)流程分析 6
2．5 系統(tǒng)數(shù)據(jù)流圖 6
2．6 數(shù)據(jù)字典 8
第三章 系統(tǒng)總體設(shè)計(jì) 10
3．1網(wǎng)站功能結(jié)構(gòu)圖 10
3．3網(wǎng)站開發(fā)目標(biāo) 10
3．4網(wǎng)站性能需求 11
第四章 數(shù)據(jù)庫設(shè)計(jì) 12
4.1數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計(jì) 12
4.2數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計(jì) 13
第五章 系統(tǒng)詳細(xì)設(shè)計(jì) 15
5．1爬蟲功能模塊設(shè)計(jì) 15
5．2? 服務(wù)器數(shù)據(jù)庫端 19
第六章? 系統(tǒng)測(cè)試 23
6.1 測(cè)試的任務(wù)及目標(biāo) 23
6.1.1測(cè)試的任務(wù) 23
6.1.2測(cè)試的目標(biāo) 23
6.2測(cè)試方案 23
6.2.1模塊測(cè)試 23
6.2.2集成測(cè)試 24
6.2.3驗(yàn)收測(cè)試 24
6.2.4平行運(yùn)行 24
結(jié) 論 25
致 謝 26文章來源：http://www.zghlxwxcb.cn/news/detail-834502.html
參考文獻(xiàn) 27文章來源地址http://www.zghlxwxcb.cn/news/detail-834502.html
到了這里，關(guān)于基于python社交網(wǎng)絡(luò)大數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
