一、Python網(wǎng)路爬蟲技術(shù)的設(shè)計與實(shí)現(xiàn)

Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，?？梢詰?yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。項(xiàng)目中，主要采取Scrapy框架實(shí)現(xiàn)一個爬蟲，抓取晉江文學(xué)網(wǎng)站的熱門小說數(shù)據(jù)。其主要步驟分為四步：

第一步：新建項(xiàng)目——scrapy startproject 項(xiàng)目名稱（新建一個新的爬蟲項(xiàng)目）

第二步：明確目標(biāo)——編寫items.py：明確抓取的目標(biāo)，即晉江文學(xué)網(wǎng)站小說的書名、作者、鏈接url、主題、收藏量、閱讀量、總字?jǐn)?shù)、簡介

第三步：制作爬蟲，爬取網(wǎng)頁——使用基于瀏覽器自動化的一個模塊：selenium模塊，便捷的獲取晉江文學(xué)小說網(wǎng)站中動態(tài)加載數(shù)據(jù)。利用xpath和正則表達(dá)式，解析網(wǎng)頁數(shù)據(jù)

第四步：設(shè)計管道存儲爬取數(shù)據(jù)——

基于管道持久化存儲的編碼流程：

①數(shù)據(jù)解析。

②在item類中定義相關(guān)的屬性。

③將解析的數(shù)據(jù)封裝存儲到item類型的對象中。

④將item類型的對象提交給管道進(jìn)行持久化存儲的操作。

⑤在管道類的proce_item中要將其接收到的item對象中存儲的數(shù)據(jù)進(jìn)行持久化存儲操作。

⑥在配置文件中開啟管道。

二、數(shù)據(jù)庫設(shè)計與實(shí)現(xiàn)

1、 xiaoshuos表結(jié)構(gòu)

2、Cart表結(jié)構(gòu)

3、User表結(jié)構(gòu)

三、Spring Boot框架的設(shè)計與實(shí)現(xiàn)

1、MySQL數(shù)據(jù)庫的實(shí)現(xiàn)

本項(xiàng)目使用了Python和Java兩種語言，而數(shù)據(jù)庫是連接它們的橋梁。數(shù)據(jù)是整個項(xiàng)目的核心，沒有數(shù)據(jù)庫，就沒有數(shù)據(jù)，沒有數(shù)據(jù)，就沒有該項(xiàng)目。項(xiàng)目使用的數(shù)據(jù)庫是mysql，連接池使用的alibaba的driud，并在JdbcConfig中完成數(shù)據(jù)庫的配置。

2、SpringBoot框架

?

四、結(jié)果展示

本項(xiàng)目采用流行的B/S架構(gòu)，用戶通過瀏覽器發(fā)送的請求都將傳送到服務(wù)器端進(jìn)行處理，服務(wù)器主要包括數(shù)據(jù)庫以及服務(wù)端后臺軟件。

1、注冊登錄功能

? ? ? ?登錄時，在用戶輸入賬號和密碼信息后，瀏覽器將數(shù)據(jù)傳給服務(wù)器，服務(wù)器對數(shù)據(jù)進(jìn)行檢查，若數(shù)據(jù)庫不存在該用戶名或用戶輸入的密碼和數(shù)據(jù)庫的密碼匹配不上，則服務(wù)器會返回相對應(yīng)的錯誤提示到瀏覽器，來提示用戶，重新輸入。若用戶輸入的賬號和密碼都正確，則驗(yàn)證成功，跳轉(zhuǎn)到首頁。

? ? ? ?注冊賬號時，瀏覽器將用戶輸入的賬號、密碼和確認(rèn)密碼的信息傳遞給服務(wù)器，服務(wù)器首先在數(shù)據(jù)庫中查找是否有此賬號的存在，若該賬號已存在，則返回“該賬號已存在”的提示到瀏覽器，若賬號不存在，則將用戶輸入的兩次密碼進(jìn)行驗(yàn)證，若兩次密碼都一樣，用戶注冊的信息正確，數(shù)據(jù)庫會添加該用戶的信息，瀏覽器接收到用戶注冊成功信息后，也跳轉(zhuǎn)至首頁。

登錄、注冊界面：

2、熱門小說推薦

項(xiàng)目基于小說點(diǎn)擊量、瀏覽量數(shù)據(jù)進(jìn)行排名，得出的點(diǎn)擊量瀏覽量最高的前8本小說，推薦給讀者，讀者可以在小說熱門推薦頁直接對感興趣的熱門小說進(jìn)行點(diǎn)擊，瀏覽小說的簡介。

3、相似小說推薦

項(xiàng)目基于對不同小說進(jìn)行主題分類，向?qū)δ骋换蚨喾N主題感興趣的讀者進(jìn)行推薦，使讀者更能方便找到和自己興趣口味的小說。

???

4、看了又看推薦（收藏功能）

當(dāng)用戶瀏覽小說信息時，可以點(diǎn)擊【收藏】，收藏自己感興趣的小說，瀏覽器將用戶的姓名和小說的id傳遞到服務(wù)器，服務(wù)器接收到消息后，在數(shù)據(jù)庫中查找該小說和該用戶的信息，并修改用戶表中，num值（+1），在cart表中，添加這條記錄（用戶名，小說書名、作者）。收藏成功后，用戶可以在個人書架頁面，查看到這本小說。如果用戶不需要此書，可在個人書架點(diǎn)擊【取消收藏】，同理，服務(wù)器接收到消息后，在數(shù)據(jù)庫中查找該小說和該用戶的信息，并修改用戶表中，num值（-1），在cart表中，刪除這條記錄。

當(dāng)用戶選擇收藏小說時，瀏覽器也會提示用戶“你確定要收藏這本書嗎？”

5、模糊搜索書名

當(dāng)讀者想要查找是否有某一本書時，可以在搜索欄輸入要查詢的書名（模糊查詢），服務(wù)器識別后在，如果在數(shù)據(jù)庫里查找到有相同字符的書名，則向讀者展示，沒有查詢到則報錯。

（1）用戶輸入“游戲”字符串

（2）數(shù)據(jù)庫查詢到帶有“游戲”字符的小說有2本，《我在無限游戲里封神》和《穿進(jìn)賽博游戲后干掉BOSS成功上位》

??

6、瀏覽小說信息功能（包括了分頁查詢）

? ? ? ?為了美化頁面，項(xiàng)目使用了PageHelper。PageHelper是mybatis的一個插件，其作用是更加方便地進(jìn)行分頁查詢。PageHelper的好處是，它是跨平臺實(shí)現(xiàn)的，無論是使用mysql還是oracle都可以使用PageHelper來進(jìn)行分頁。

? ? ? 當(dāng)用戶登錄成功進(jìn)入首頁后，可瀏覽晉江文學(xué)熱門小說的基本信息，其主要包括了小說的書名、作者、主題、總字?jǐn)?shù)、閱讀量、收藏量。

? ? ? 用戶還可以查看晉江文學(xué)熱門小說主題，本項(xiàng)目使用sql分類查詢和統(tǒng)計語句，將小說數(shù)據(jù)根據(jù)主題進(jìn)行分類，并統(tǒng)計主題下小說的數(shù)量、總閱讀量和總收藏量。以方便用戶直接查看某一類小說主題下的小說信息。

? ? ? 若用戶在瀏覽小說首頁或小說詳情主題頁面時，對某一本小說感興趣，可以進(jìn)入小說詳情頁，查看小說的簡介，進(jìn)一步了解小說的信息。

五、項(xiàng)目總結(jié)

? ? ? ?項(xiàng)目利用熱門的網(wǎng)絡(luò)爬蟲技術(shù)爬取數(shù)據(jù)，MySQL數(shù)據(jù)庫持久化存儲數(shù)據(jù)和最新的SpringBoot框架進(jìn)行項(xiàng)目構(gòu)建，并結(jié)合SpringMVC等熱門框架技術(shù)，向讀者推薦當(dāng)前比較熱門的小說，相似度高的同主題小說，幫組讀者能夠更好、更快的選擇適合自己的小說。

? ? ? ? 在爬取晉江小說文學(xué)網(wǎng)站的小說數(shù)據(jù)時，我對不同主題的小說進(jìn)行了判斷和分類，經(jīng)過簡單的數(shù)據(jù)處理后，將數(shù)據(jù)持久化存儲在MySQL數(shù)據(jù)庫中。由于SpringBoot技術(shù)為用戶提供了自動裝配功能，只需要遵守約定就可以減少甚至不需要再進(jìn)行繁瑣的配置。相較于Spring，SpringBoot提供的自動裝配節(jié)約了我們大量的開發(fā)時間，提高了開發(fā)效率。結(jié)合SpringMVC框架，我將項(xiàng)目主要分為模型model(javabean)、視圖view(jsp/img)、控制器Controller(Action/servlet)，大大降低了耦合，讓代碼合理分層，方便后期維護(hù)。文章來源地址http://www.zghlxwxcb.cn/news/detail-430975.html

到了這里，關(guān)于基于網(wǎng)絡(luò)爬蟲和SpringBoot框架的晉江文學(xué)小說小型網(wǎng)站項(xiàng)目的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！