0 前言
?? 優(yōu)質(zhì)競賽項(xiàng)目系列，今天要分享的是
?? python的搜索引擎系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
??學(xué)長這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)
- 難度系數(shù)：3分
- 工作量：5分
- 創(chuàng)新點(diǎn)：3分
該項(xiàng)目較為新穎，適合作為競賽課題方向，學(xué)長非常推薦！
?? 更多資料, 項(xiàng)目分享：文章來源：http://www.zghlxwxcb.cn/news/detail-765075.html
https://gitee.com/dancheng-senior/postgraduate文章來源地址http://www.zghlxwxcb.cn/news/detail-765075.html
1 課題簡介
隨著互聯(lián)網(wǎng)和寬帶上網(wǎng)的普及， 搜索引擎在中國異軍突起， 并日益滲透到人們的日常生活中， 在互聯(lián)網(wǎng)普及之前，
人們查閱資料首先想到的是擁有大量書籍的資料的圖書館。 但是今天很多人都會(huì)選擇一種更方便、 快捷、 全面、 準(zhǔn)確的查閱方式–互聯(lián)網(wǎng)。
而幫助我們在整個(gè)互聯(lián)網(wǎng)上快速地查找到目標(biāo)信息的就是越來越被重視的搜索引擎。
今天學(xué)長來向大家介紹如何使用python寫一個(gè)搜索引擎，該項(xiàng)目常用于畢業(yè)設(shè)計(jì)
2 系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)
2.1 總體設(shè)計(jì)
學(xué)長設(shè)計(jì)的系統(tǒng)采用的是非關(guān)系型數(shù)據(jù)庫Elasticsearch，因此對(duì)于此數(shù)據(jù)庫的查詢等基本操作會(huì)加以圖例的方式進(jìn)行輔助闡述。在使用者開始進(jìn)行査詢時(shí)，系統(tǒng)不可能把使用者輸入的關(guān)鍵詞與所有本地?cái)?shù)據(jù)進(jìn)行匹配，這種檢索方式即便建立索引，查詢效率仍然較低，而且非常消耗服務(wù)器資源。
因此，Elasticsearch將獲取到的數(shù)據(jù)分為兩個(gè)階段進(jìn)行處理。第一階段：采用合適的分詞器，將獲取到的數(shù)據(jù)按照分詞器的標(biāo)準(zhǔn)進(jìn)行分詞，第二階段：對(duì)每個(gè)關(guān)鍵詞的頻率以及出現(xiàn)的位置進(jìn)行統(tǒng)計(jì)。
經(jīng)過以上兩個(gè)階段，最后每個(gè)詞語具體出現(xiàn)在哪些文章中，出現(xiàn)的位置和頻次如何，都將會(huì)被保存到Elasticsearch數(shù)據(jù)庫中，此過程即為構(gòu)建倒排索引，需要花費(fèi)的計(jì)算開銷很大，但大大提高了后續(xù)檢索的效率。其中，搜索引擎的索引過程流程圖如圖
2.2 搜索關(guān)鍵流程
如圖所示，每一位用戶在搜索框中輸入關(guān)鍵字后，點(diǎn)擊搜索發(fā)起搜索請求，系統(tǒng)后臺(tái)解析內(nèi)容后，將搜索結(jié)果返回到查詢結(jié)果頁，用戶可以直接點(diǎn)擊查詢結(jié)果的標(biāo)題并跳轉(zhuǎn)到詳情頁，也可以點(diǎn)擊下一頁查看其他頁面的搜索結(jié)果，也可以選擇重新在輸入框中輸入新的關(guān)鍵詞，再次發(fā)起搜索。
跳轉(zhuǎn)至不同結(jié)果頁流程圖：
瀏覽具體網(wǎng)頁信息流程圖：
搜索功能流程圖：
2.3 推薦算法
用戶可在平臺(tái)上了解到當(dāng)下互聯(lián)網(wǎng)領(lǐng)域中的熱點(diǎn)內(nèi)容，點(diǎn)擊文章鏈接后即可進(jìn)入到對(duì)應(yīng)的詳情頁面中，瀏覽選中的信息的目標(biāo)網(wǎng)頁，詳細(xì)了解其中的內(nèi)容。豐富了本搜索平臺(tái)提供信息的實(shí)時(shí)性，如圖
用戶可在搜索引擎首頁中瀏覽到系統(tǒng)推送的可能感興趣的內(nèi)容，同時(shí)用戶可點(diǎn)擊推送的標(biāo)題進(jìn)入具體網(wǎng)頁進(jìn)行瀏覽詳細(xì)內(nèi)容。流程圖如圖
2.4 數(shù)據(jù)流的實(shí)現(xiàn)
學(xué)長設(shè)計(jì)的系統(tǒng)的數(shù)據(jù)來源主要是從發(fā)布互聯(lián)網(wǎng)專業(yè)領(lǐng)域信息的開源社區(qū)上爬蟲得到。
再經(jīng)過IK分詞器對(duì)獲取到的標(biāo)題和摘要進(jìn)行分詞，再由Elasticsearch建立索引并將數(shù)據(jù)持久化。
用戶通過輸入關(guān)鍵詞，點(diǎn)擊檢索，后臺(tái)程序?qū)Λ@得的關(guān)鍵詞再進(jìn)行分詞處理，再到數(shù)據(jù)庫中進(jìn)行查找，將滿足條件的網(wǎng)頁標(biāo)題和摘要用超鏈接的方式在瀏覽器中顯示出來。
3 實(shí)現(xiàn)細(xì)節(jié)
3.1 系統(tǒng)架構(gòu)
搜索引擎有基本的五大模塊,分別是:
- 信息采集模塊
- 信息處理模塊
- 建立索引模塊
- 查詢和 web 交互模塊
學(xué)長設(shè)計(jì)的系統(tǒng)目的是在信息處理分析的基礎(chǔ)上,建立一個(gè)完整的中文搜索引擎。
所以該系統(tǒng)主要由以下幾個(gè)詳細(xì)部分組成:
- 爬取數(shù)據(jù)
- 中文分詞
- 相關(guān)度排序
- 建立web交互。
3.2 爬取大量網(wǎng)頁數(shù)據(jù)
爬取數(shù)據(jù)，實(shí)際上用的就是爬蟲。
我們平時(shí)在瀏覽網(wǎng)頁的時(shí)候，在瀏覽器里輸入一個(gè)網(wǎng)址，然后敲擊回車，我們就會(huì)看到網(wǎng)站的一些頁面，那么這個(gè)過程實(shí)際上就是這個(gè)瀏覽器請求了一些服務(wù)器然后獲取到了一些服務(wù)器的網(wǎng)頁資源，然后我們看到了這個(gè)網(wǎng)頁。
請求呢就是用程序來實(shí)現(xiàn)上面的過程，就需要寫代碼來模擬這個(gè)瀏覽器向服務(wù)器發(fā)起請求，然后獲取這些網(wǎng)頁資源。那么一般來說實(shí)際上獲取的這些網(wǎng)頁資源是一串HTML代碼，這里面包含HTML標(biāo)簽，還有一
我們寫完程序之后呢就讓它一直運(yùn)行著，它就能代替我們?yōu)g覽器來向服務(wù)器發(fā)送請求，然后一直不停的循環(huán)的運(yùn)行進(jìn)行批量的大量的獲取數(shù)據(jù)了，這就是爬蟲的一個(gè)基本的流程。
一個(gè)通用的網(wǎng)絡(luò)爬蟲的框架如圖所示：
這里給出一段爬蟲，爬取自己感興趣的網(wǎng)站和內(nèi)容，并按照固定格式保存起來：
? # encoding=utf-8
? # 導(dǎo)入爬蟲包
? from selenium import webdriver
? # 睡眠時(shí)間
? import time
? import re
? import os
? import requests
? # 打開編碼方式utf-8打開
?
# 睡眠時(shí)間 傳入int為休息時(shí)間，頁面加載和網(wǎng)速的原因 需要給網(wǎng)頁加載頁面元素的時(shí)間
def s(int):
time.sleep(int)
?
? # html/body/div[1]/table/tbody/tr[2]/td[1]/input
? # http://dmfy.emindsoft.com.cn/common/toDoubleexamp.do
?
if __name__ == '__main__':
#查詢的文件位置
# fR = open('D:\\test.txt','r',encoding = 'utf-8')
# 模擬瀏覽器，使用谷歌瀏覽器，將chromedriver.exe復(fù)制到谷歌瀏覽器的文件夾內(nèi)
chromedriver = r"C:\\Users\\zhaofahu\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe"
# 設(shè)置瀏覽器
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(chromedriver)
# 最大化窗口 用不用都行
browser.maximize_window()
# header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
# 要爬取的網(wǎng)頁
neirongs = [] # 網(wǎng)頁內(nèi)容
response = [] # 網(wǎng)頁數(shù)據(jù)
travel_urls = []
urls = []
titles = []
writefile = open("docs.txt", 'w', encoding='UTF-8')
url = 'http://travel.yunnan.cn/yjgl/index.shtml'
# 第一頁
browser.get(url)
response.append(browser.page_source)
# 休息時(shí)間
s(3)
# 第二頁的網(wǎng)頁數(shù)據(jù)
#browser.find_element_by_xpath('// *[ @ id = "downpage"]').click()
#s(3)
#response.append(browser.page_source)
#s(3)
# 第三頁的網(wǎng)頁數(shù)據(jù)
#browser.find_element_by_xpath('// *[ @ id = "downpage"]').click()
#s(3)
#response.append(browser.page_source)
?
? # 3.用正則表達(dá)式來刪選數(shù)據(jù)
? reg = r'href="(//travel.yunnan.cn/system.*?)"'
? # 從數(shù)據(jù)里爬取data。。。
? # 。travel_urls 旅游信息網(wǎng)址
? for i in range(len(response)):
? travel_urls = re.findall(reg, response[i])
?
# 打印出來放在一個(gè)列表里
for i in range(len(travel_urls)):
url1 = 'http:' + travel_urls[i]
urls.append(url1)
browser.get(url1)
content = browser.find_element_by_xpath('/html/body/div[7]/div[1]/div[3]').text
# 獲取標(biāo)題作為文件名
b = browser.page_source
travel_name = browser.find_element_by_xpath('//*[@id="layer213"]').text
titles.append(travel_name)
print(titles)
print(urls)
for j in range(len(titles)):
writefile.write(str(j) + '\t\t' + titles[j] + '\t\t' + str(urls[j])+'\n')
s(1)
browser.close()
##
3.3 中文分詞
中文分詞使用jieba庫即可
jieba 是一個(gè)基于Python的中文分詞工具對(duì)于一長段文字，其分詞原理大體可分為三步：
1.首先用正則表達(dá)式將中文段落粗略的分成一個(gè)個(gè)句子。
2.將每個(gè)句子構(gòu)造成有向無環(huán)圖，之后尋找最佳切分方案。
3.最后對(duì)于連續(xù)的單字，采用HMM模型將其再次劃分。
jieba分詞分為“默認(rèn)模式”（cut_all=False）,“全模式”(cut_all=True)以及搜索引擎模式。對(duì)于“默認(rèn)模式”，又可以選擇是否使用
HMM 模型（HMM=True，HMM=False）。
3.4 相關(guān)度排序
上面已經(jīng)根據(jù)用戶的輸入獲取到了相關(guān)的網(wǎng)址數(shù)據(jù)。
獲取到的數(shù)據(jù)中rows的形式如下
[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3…),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3…)]
列表的每個(gè)元素是一個(gè)元組，每個(gè)元素的內(nèi)容是urlid和每個(gè)關(guān)鍵詞在該文檔中的位置。
wordids形式為[wordid1, wordid2, wordid3…]，即每個(gè)關(guān)鍵詞所對(duì)應(yīng)的單詞id
我們將會(huì)介紹幾種排名算法，所謂排名也就是根據(jù)各自的規(guī)則為每個(gè)鏈接評(píng)分，評(píng)分越好。并且最終我們會(huì)將幾種排名算法綜合利用起來，給出最終的排名。既然要綜合利用，那么我們就要先實(shí)現(xiàn)每種算法。在綜合利用時(shí)會(huì)遇到幾個(gè)問題。
1、每種排名算法評(píng)分機(jī)制不同，給出的評(píng)分尺度和含義也不盡相同
2、如何綜合利用，要考慮每種算法的效果。為效果好的給與較大的權(quán)重。
我們先來考慮第一個(gè)問題，如何消除每種評(píng)分算法所給出的評(píng)分尺度和含義不相同的問題。
第2個(gè)問題，等研究完所有的算法以后再來考慮。
簡單，使用歸一化，將每個(gè)評(píng)分值縮放到0-1上，1代表最高，0代表最低。
對(duì)爬去到的數(shù)據(jù)進(jìn)行排序， 有好幾種排序算法：
第1個(gè)排名算法：根據(jù)單詞位置進(jìn)行評(píng)分的函數(shù)
我們可以認(rèn)為對(duì)用戶輸入的多個(gè)關(guān)鍵詞，在文檔中，這些關(guān)鍵詞出現(xiàn)的位置越靠前越好。比如我們往往習(xí)慣在文章的前面添加一些摘要性、概括性的描述。
# 根據(jù)單詞位置進(jìn)行評(píng)分的函數(shù).
# rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]
? def locationscore(self,rows):
? locations=dict([(row[0],1000000) for row in rows])
? for row in rows:
? loc=sum(row[1:]) #計(jì)算每個(gè)鏈接的單詞位置總和，越小說明越靠前
? if loc<locations[row[0]]: #記錄每個(gè)鏈接最小的一種位置組合
? locations[row[0]]=loc
?
return self.normalizescores(locations,smallIsBetter=1)
####
第2個(gè)排名算法：根據(jù)單詞頻度進(jìn)行評(píng)價(jià)的函數(shù)
我們可以認(rèn)為對(duì)用戶輸入的多個(gè)關(guān)鍵詞，在文檔中，這些關(guān)鍵詞出現(xiàn)的次數(shù)越多越好。比如我們在指定主題的文章中會(huì)反復(fù)提到這個(gè)主題。
# 根據(jù)單詞頻度進(jìn)行評(píng)價(jià)的函數(shù)
# rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]
def frequencyscore(self,rows):
counts=dict([(row[0],0) for row in rows])
for row in rows:
counts[row[0]]+=1 #統(tǒng)計(jì)每個(gè)鏈接出現(xiàn)的組合數(shù)目。 每個(gè)鏈接只要有一種位置組合就會(huì)保存一個(gè)元組。所以鏈接所擁有的組合數(shù)，能一定程度上表示單詞出現(xiàn)的多少。
return self.normalizescores(counts)
第3個(gè)排名算法：根據(jù)單詞距離進(jìn)行評(píng)價(jià)的函數(shù)
我們可以認(rèn)為對(duì)用戶輸入的多個(gè)關(guān)鍵詞，在文檔中，這些關(guān)鍵詞出現(xiàn)的越緊湊越好。這是因?yàn)槲覀兏Ｍ袉卧~出現(xiàn)在一句話中，而不是不同的關(guān)鍵詞出現(xiàn)在不同段落或語句中。
? # 根據(jù)單詞距離進(jìn)行評(píng)價(jià)的函數(shù)。
? # rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]
? def distancescore(self,rows):
? # 如果僅查詢了一個(gè)單詞，則得分都一樣
? if len(rows[0])<=2: return dict([(row[0],1.0) for row in rows])
?
# 初始化字典，并填入一個(gè)很大的值
mindistance=dict([(row[0],1000000) for row in rows])
for row in rows:
dist=sum([abs(row[i]-row[i-1]) for i in range(2,len(row))]) # 計(jì)算每種組合中每個(gè)單詞之間的距離
if dist<mindistance[row[0]]: # 計(jì)算每個(gè)鏈接所有組合的距離。并為每個(gè)鏈接記錄最小的距離
mindistance[row[0]]=dist
return self.normalizescores(mindistance,smallIsBetter=1)
4 實(shí)現(xiàn)效果
熱門主題推薦實(shí)現(xiàn)
搜索界面的實(shí)現(xiàn)
查詢結(jié)果頁面顯示
查詢結(jié)果分頁顯示
查詢結(jié)果關(guān)鍵字高亮標(biāo)記顯示
4 最后
?? 更多資料, 項(xiàng)目分享：
https://gitee.com/dancheng-senior/postgraduate
到了這里，關(guān)于競賽保研 python的搜索引擎系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
