蘭州工商學(xué)院
信息工程學(xué)院課程設(shè)計(jì)報(bào)告
課?? 程? 名?? 稱:Python課程設(shè)計(jì)? ? ? ? ? ? ?? ? ? ?
設(shè)?? 計(jì)? 題?? 目:網(wǎng)絡(luò)爬蟲(chóng)中國(guó)大學(xué)錄取分排名
一、開(kāi)發(fā)背景... 1
(一)爬蟲(chóng)技術(shù)概述... 1
(二)Python簡(jiǎn)介... 1
(三)本文要點(diǎn)... 2
二、使用“庫(kù)”的分析... 2
(一)“庫(kù)”的簡(jiǎn)介... 2
(二)可行性分析... 7
三、實(shí)例設(shè)計(jì)... 8
(一)實(shí)例詳細(xì)介紹... 8
(二)實(shí)例流程分析... 8
(三)實(shí)例運(yùn)行環(huán)境... 9
(四)程序設(shè)計(jì)... 10
(五)程序優(yōu)化... 11
四、小結(jié)... 14
五、參考文獻(xiàn)... 16
一、開(kāi)發(fā)背景
(一)爬蟲(chóng)技術(shù)概述
網(wǎng)絡(luò)爬蟲(chóng)(又稱為網(wǎng)頁(yè)蜘蛛,網(wǎng)絡(luò)機(jī)器人,在FOFA社區(qū)中間,更經(jīng)常的稱為網(wǎng)頁(yè)追逐者),是一種按照一定的規(guī)則,自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。
網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用智能自構(gòu)造技術(shù),隨著不同主題的網(wǎng)站,可以自動(dòng)分析構(gòu)造URL去重。網(wǎng)絡(luò)爬蟲(chóng)使用多線程技術(shù),讓爬蟲(chóng)具備更強(qiáng)大的抓取能力。對(duì)網(wǎng)絡(luò)爬蟲(chóng)的連接網(wǎng)絡(luò)設(shè)置連接及讀取時(shí)間,避免無(wú)限制的等待。為了適應(yīng)不同需求,使網(wǎng)絡(luò)爬蟲(chóng)可以根據(jù)預(yù)先設(shè)定的主題實(shí)現(xiàn)對(duì)特定主題的爬取。研究網(wǎng)絡(luò)爬蟲(chóng)的原理并實(shí)現(xiàn)爬蟲(chóng)的相關(guān)功能,并將爬去的數(shù)據(jù)清洗之后存入數(shù)據(jù)庫(kù),后期可視化顯示。
定向網(wǎng)絡(luò)爬蟲(chóng)可以幫助人們快速地從龐大的互聯(lián)網(wǎng)中獲取特定的信息,是當(dāng)今信息時(shí)代非常有用的助手。Python 是一門面向?qū)ο蟆⒔忉屝透呒?jí)程序設(shè)計(jì)語(yǔ)言,語(yǔ)法簡(jiǎn)潔清晰,具有豐富強(qiáng)大的類庫(kù)。使用網(wǎng)絡(luò)爬蟲(chóng)可以批量采集數(shù)據(jù),大大提高數(shù)據(jù)分析的速度和效率。Python語(yǔ)言簡(jiǎn)潔、高效,被稱“膠水語(yǔ)言”,具有豐富的第三方庫(kù),處理網(wǎng)頁(yè)和鏈接非常方便。本文介紹了網(wǎng)絡(luò)爬蟲(chóng)的類型、工作原理以及Python爬蟲(chóng)技術(shù)所需的第三方庫(kù),構(gòu)建了爬取中國(guó)大學(xué)排名數(shù)據(jù)的程序。
(二)Python簡(jiǎn)介
Python 是一個(gè)高層次的結(jié)合了解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語(yǔ)言。Python 的設(shè)計(jì)具有很強(qiáng)的可讀性,相比其他語(yǔ)言經(jīng)常使用英文關(guān)鍵字,其他語(yǔ)言的一些標(biāo)點(diǎn)符號(hào),它具有比其他語(yǔ)言更有特色語(yǔ)法結(jié)構(gòu)。
Python是一種解釋型語(yǔ)言:這意味著開(kāi)發(fā)過(guò)程中沒(méi)有了編譯這個(gè)環(huán)節(jié)。類似于PHP和Perl語(yǔ)言。
Python是交互式語(yǔ)言:這意味著,您可以在一個(gè)Python提示符 >>> 后直接執(zhí)行代碼。
Python是面向?qū)ο笳Z(yǔ)言:這意味著Python支持面向?qū)ο蟮娘L(fēng)格或代碼封裝在對(duì)象的編程技術(shù)。
Python是初學(xué)者的語(yǔ)言:Python 對(duì)初級(jí)程序員而言,是一種偉大的語(yǔ)言,它支持廣泛的應(yīng)用程序開(kāi)發(fā),從簡(jiǎn)單的文字處理到 WWW 瀏覽器再到游戲。
(三)本文要點(diǎn)
隨著科技發(fā)展,大數(shù)據(jù)越來(lái)越重要,日漸增加,準(zhǔn)確全面地獲取數(shù)據(jù)可以幫助學(xué)生日常學(xué)習(xí)選擇等,具有相當(dāng)重要的研究?jī)r(jià)值。基于Python的網(wǎng)絡(luò)動(dòng)態(tài)排名數(shù)據(jù)抓取方案利用requests庫(kù)抓取Ajax異步請(qǐng)求多頁(yè)數(shù)據(jù)源,抓取的內(nèi)容更為全面;對(duì)抓取到的排名數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,對(duì)多線程效率進(jìn)行對(duì)比分析,顯示爬蟲(chóng)具有良好的適應(yīng)性。該方案抓取的網(wǎng)絡(luò)資訊在科研、選擇等方面具有一定實(shí)用價(jià)值。
二、使用“庫(kù)”的分析
(一)“庫(kù)”的簡(jiǎn)介
本文使用的Python第三方庫(kù)主要有:requests庫(kù)、beautifulsoup4庫(kù)、json庫(kù)。
①requests庫(kù)
Python提供了多個(gè)用來(lái)編寫(xiě)爬蟲(chóng)程序的庫(kù),Requests是Python的第三方庫(kù),這個(gè)庫(kù)的宗旨是“讓 HTTP 服務(wù)于人類”。Requests庫(kù)是在urllib 的基礎(chǔ)上開(kāi)發(fā)而來(lái),它使用Python語(yǔ)言編寫(xiě),并且采用了Apache2 Licensed(一種開(kāi)源協(xié)議)的HTTP 庫(kù)。與urllib相比,Requests更加方便、快捷,因此在編寫(xiě)爬蟲(chóng)程序時(shí)Requests庫(kù)使用較多。
Requests是Python的第三方庫(kù),它的安裝非常簡(jiǎn)便,如下所示:
python -m pip install requests
1)Requests 庫(kù)常用請(qǐng)求方法:
requests.get(),該方法用于 GET請(qǐng)求,表示向網(wǎng)站發(fā)起請(qǐng)求,獲取頁(yè)面響應(yīng)對(duì)象。
requests.post(),該方法用于POST請(qǐng)求,先由用戶向目標(biāo)url提交數(shù)據(jù),然后服務(wù)器返回一個(gè)HttpResponse響應(yīng)對(duì)象。
Requests庫(kù)常用方法及參數(shù)介紹:Requests庫(kù)中定義了七個(gè)常用的請(qǐng)求方法,這些方法各自有著不同的作用,在這些請(qǐng)求方法中requests.get() 與requests.post()方法最為常用。請(qǐng)求方法如下(表 1)所示:
表 1 ?常用請(qǐng)求方法
2)Requests 庫(kù)應(yīng)用實(shí)例:
#獲取網(wǎng)頁(yè)源代碼
【源代碼】
import requests #調(diào)用requests庫(kù)
res = requests.get('https://www.shanghairanking.cn/rankings/bcur/2021')
#獲取網(wǎng)頁(yè)源代碼,得到的res是Response對(duì)象
res.encoding = 'UTF-8'
txt = res.text #字符串
txt = txt.encode() #把str轉(zhuǎn)化成byte
with open('D:\編程\代碼\課程設(shè)計(jì)\中國(guó)大學(xué)排名html代碼.txt','wb') as f:
??? f.write(txt)
??? f.close()
print('完成')
【運(yùn)行結(jié)果:圖 1】
圖 1 ?Requests 庫(kù)應(yīng)用實(shí)例
②beautifulsoup4庫(kù)
Beautiful Soup簡(jiǎn)稱BS4(其中4表示版本號(hào))是一個(gè)Python第三方庫(kù),它可以從HTML或XML文檔中快速地提取指定的數(shù)據(jù)。
由于Bautiful Soup是第三方庫(kù),因此需要單獨(dú)下載,下載方式非常簡(jiǎn)單,執(zhí)行以下命令即可安裝:
pip install bs4
由于BS4解析頁(yè)面時(shí)需要依賴文檔解析器,所以還需要安裝lxml作為解析庫(kù):
pip install lxml
Python也自帶了一個(gè)文檔解析庫(kù)html.parser,但是其解析速度要稍慢于lxml。除了上述解析器外,還可以使用html5lib解析器,安裝方式如下:
pip install html5lib
BS4常用語(yǔ)法:
Tag節(jié)點(diǎn),標(biāo)簽(Tag)是組成HTML文檔的基本元素。在BS4中,通過(guò)標(biāo)簽名和標(biāo)簽屬性可以提取出想要的內(nèi)容。
遍歷節(jié)點(diǎn),Tag 對(duì)象提供了許多遍歷tag節(jié)點(diǎn)的屬性,比如 contents、children用來(lái)遍歷子節(jié)點(diǎn);parent與parents用來(lái)遍歷父節(jié)點(diǎn);而 next_sibling與previous_sibling則用來(lái)遍歷兄弟節(jié)點(diǎn) 。
find_all()與find(),find_all()與 find()是解析HTML文檔的常用方法,它們可以在HTML文檔中按照一定的條件(相當(dāng)于過(guò)濾器)查找所需內(nèi)容。
CSS選擇器,BS4 支持大部分的 CSS 選擇器,比如常見(jiàn)的標(biāo)簽選擇器、類選擇器、id 選擇器,以及層級(jí)選擇器。Beautiful Soup 提供了一個(gè) select() 方法,通過(guò)向該方法中添加選擇器,就可以在 HTML 文檔中搜索到與之對(duì)應(yīng)的內(nèi)容。
③json庫(kù)
JSON(JavaScript Object Notation)是一種輕量級(jí)的數(shù)據(jù)交換格式,遵循歐洲計(jì)算機(jī)協(xié)會(huì)制定的 JavaScript 規(guī)范(簡(jiǎn)稱 ECMAScript)。JSON 易于人閱讀和編寫(xiě),同時(shí)也易于機(jī)器解析和生成,能夠有效的提升網(wǎng)信息的傳輸效率,因此它常被作為網(wǎng)絡(luò)、程序之間傳遞信息的標(biāo)準(zhǔn)語(yǔ)言,比如客戶端與服務(wù)器之間信息交互就是以 JSON 格式傳遞的。
簡(jiǎn)單地說(shuō),JSON 可以將 JavaScript 對(duì)象表示的一組數(shù)據(jù)轉(zhuǎn)換為字符串格式,以便于在網(wǎng)絡(luò)、程序間傳輸這個(gè)字符串。并且在需要的時(shí)候,您還可以將它轉(zhuǎn)換為編程語(yǔ)言所支持的數(shù)據(jù)格式。本節(jié)主要介紹如何實(shí)現(xiàn) JSON 數(shù)據(jù)與 Python 數(shù)據(jù)類型間的相互轉(zhuǎn)換。
Python 語(yǔ)言內(nèi)置了專門處理 JOSN 數(shù)據(jù)的模塊——jons 模塊,通過(guò)該模塊就可以完成 JSON 與 Python 兩種數(shù)據(jù)格式的相互轉(zhuǎn)換。
表 2? JSON方法總結(jié)
jons.loads(),該方法可以將 json 格式的字符串轉(zhuǎn)換成 Python 對(duì)象(比如列表、字典、元組、整型以及浮點(diǎn)型),其中最常用的是轉(zhuǎn)換為字典類型。
json.dump(),它可以將 Python 對(duì)象(字典、列表等)轉(zhuǎn)換為 json 字符串,并將轉(zhuǎn)換后的數(shù)據(jù)寫(xiě)入到 json 格式的文件中 ,因此該方法必須操作文件流對(duì)象。比如當(dāng)使用爬蟲(chóng)程序完成數(shù)據(jù)抓取后,有時(shí)需要將數(shù)據(jù)保存為 json 格式,此時(shí)就用到了 json.dump() 方法,
json.load(),該方法用于操作文件流對(duì)象,不過(guò)它與 dump() 恰好相反,它表示從? json 文件中讀取 JSON 字符串,并將讀取內(nèi)容轉(zhuǎn)換為 Python 對(duì)象。
json.dumps(),該方法可以將 Python 對(duì)象轉(zhuǎn)換成 JSON 字符串。
綜上所述 json.load() 與 json.dump() 操作的是文件流對(duì)象,實(shí)現(xiàn)了 json 文件的讀寫(xiě)操作,而 json.loads() 與 json.dumps() 操作的是 Python 對(duì)象或者 JOSN 字符串。
④xlwings庫(kù)
xlwings是一個(gè)BSD許可Python庫(kù),可以很容易地從Excel調(diào)用Python,反之亦然:
Scripting: 使用接近VBA的語(yǔ)法從Python自動(dòng)化/與Excel交互。
Macros: 用干凈而強(qiáng)大的Python代碼替換VBA宏。
UDFs: 在Python中編寫(xiě)用戶定義函數(shù)(UDF)(僅限Windows)。
REST API: 通過(guò)REST API操作Excel工作簿。
完全支持Numpy arrays 和Pandas Series/DataFrames . xlwings-powered workbooks are easy to distribute and work on Windows and Mac。
(二)可行性分析
robots協(xié)議:定向爬蟲(chóng)網(wǎng)址是否提供robots協(xié)議的約定,由于我們只訪問(wèn)了這個(gè)網(wǎng)站的一個(gè)鏈接,可以手動(dòng)查看。
輸入:http://www.zuihaodaxue.cn/robots.txt
圖 2??
發(fā)現(xiàn)網(wǎng)頁(yè)不存在,說(shuō)明這個(gè)網(wǎng)站并沒(méi)有通過(guò)robots協(xié)議對(duì)爬蟲(chóng)進(jìn)行相應(yīng)的限制,因此我們對(duì)大學(xué)排名的爬取是可以實(shí)現(xiàn)的。
三、實(shí)例設(shè)計(jì)
(一)實(shí)例詳細(xì)介紹
獲取中國(guó)大學(xué)排名的爬蟲(chóng)實(shí)例,采用了requests和BeautifulSoup4函數(shù)庫(kù);
中國(guó)大學(xué)排名網(wǎng)址:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021;
功能描述:輸入大學(xué)排名URL連接,輸出大學(xué)排名信息的屏幕輸出(排名,大學(xué)名稱,總分,類型);技術(shù)路線:requests和bs4;定向爬蟲(chóng):僅對(duì)輸入U(xiǎn)RL進(jìn)行爬取,不擴(kuò)展爬取。
def getHTMLText(url):從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁(yè)內(nèi)容,def fillUnivList(text, num):提取網(wǎng)頁(yè)內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu):def printUnivList(ulist):利用數(shù)據(jù)結(jié)構(gòu)展示并輸出結(jié)果。
(二)實(shí)例流程分析
實(shí)例流程結(jié)構(gòu)圖如(圖 3)所示:
圖 3? 實(shí)例流程結(jié)構(gòu)圖
步驟一:從網(wǎng)絡(luò)上獲取大學(xué)排名的網(wǎng)頁(yè)內(nèi)容getHTMLText();步驟二:提取網(wǎng)頁(yè)內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu) fillUnivList();步驟三:利用數(shù)據(jù)結(jié)構(gòu)展示并輸出結(jié)果printUnivList()使用這三個(gè)模塊是結(jié)果更加清晰可讀。
(三)實(shí)例運(yùn)行環(huán)境
實(shí)例運(yùn)行結(jié)果如下(圖 4):
圖 4? 實(shí)例運(yùn)行環(huán)境
運(yùn)行環(huán)境如下(圖 5):
圖 5? 運(yùn)行環(huán)境
運(yùn)行平臺(tái):
Windows10
運(yùn)行環(huán)境:
PyCharm Community Edition 2020.2.3
解釋器:python3.9
(四)程序設(shè)計(jì)
【源代碼】
import requests
import json
headers = {
??? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36\ (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'}
url='https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021'
def getHTMLText(url):
??? '''從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁(yè)內(nèi)容'''
??? try:
??????? r = requests.get(url, headers=headers,timeout=40)
??????? # #如果狀態(tài)不是200,就會(huì)引發(fā)HTTPError異常
??????? r.raise_for_status()
??????? r.encoding = r.apparent_encoding
??????? return r.text
??? except:
??????? return ""
def fillUnivList(text, num):
??? # response = requests.get(url, timeout=40)
??? # text = response.text
??? data = json.loads(text)
??? content = data['data']['rankings']
??? ulist = []
??? for i in range(num):
??????? index = content[i]['rankOverall']
??????? name = content[i]['univNameCn']
??????? score = content[i]['score']
??????? category = content[i]['univCategory']
??????? ulist.append([index, name, score, category])
??? return ulist
def printUnivList(ulist):
??? # 打印前 num 名的大學(xué)
??? #tplt ="{0:^10}\t{1:^10}\t{2:^10}\t{3:^10}"
??? tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}\t{4:^10}"?? # {1:{3}^10} 中的 {3} 代表取第三\個(gè)參數(shù)
??? print(tplt.format("排名 ", "學(xué)校名稱", "總分", chr(12288), "類型"))? # chr(12288)\ 代表中文空格
??? for i in range(10):
??????? u = ulist[i]
??????? # chr(12288) 代表中文空格
??????? print(tplt.format(u[0], u[1], u[2], chr(12288), u[3]))
if __name__ == '__main__':
??? text=getHTMLText(url)
??? ulist=fillUnivList(text, 10)
printUnivList(ulist)
(五)程序優(yōu)化
利用requests、BeautifulSoup、xlwings庫(kù)抓取軟科中國(guó)大學(xué)排名首頁(yè)數(shù)據(jù),并且保存至Excel表中。
【步驟】
- 軟科中國(guó)大學(xué)排名。(https://www.shanghairanking.cn/rankings/bcur/2021)
- 調(diào)用requests模塊中g(shù)et方法,get方法包括headers參數(shù),訪問(wèn)上述網(wǎng)址,獲取Response 對(duì)象。
- 利用BeautifulSoup類解析。
- 利用find_all等方法查找tr、td等標(biāo)簽對(duì)象。
- 將找到的相應(yīng)標(biāo)簽內(nèi)容依次添加到列表中。
- 利用xlwings庫(kù),將列表內(nèi)容寫(xiě)入Excel文件。
- 將獲取排名數(shù)據(jù)封裝為一個(gè)方法。
- 將抽取排名信息封裝為一個(gè)方法。
- main()方法完成整體調(diào)用。
【源程序】
import requests as re
from bs4 import BeautifulSoup
import bs4
import xlwings as xw
def getSoup(url):
??? try:
??????? headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4)\ AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
??????? web=re.get(url,timeout=30,headers=headers)
??????? web.encoding=web.apparent_encoding
?? ?????#BeautifulSoup將字節(jié)流轉(zhuǎn)換為utf-8編碼
??????? bs_obj=BeautifulSoup(web.text,'lxml')
??????? return bs_obj
??? except:
??????? return ""
def findUniversity(soup):
??? ulist=[['排名','univ-logo','學(xué)校中文名稱','學(xué)校英文名稱','備注','省市','類型','總\分','辦學(xué)層次']]
??? for tr in soup.tbody.find_all('tr'):
??????? if isinstance(tr, bs4.element.Tag):
??????????? tds = tr.find_all('td')
??????????? ulist.append([tds[0].text.strip(),
????????????????????????? tds[1].find(class_="univ-logo").get('src'),
????????????????????????? tds[1].find(class_="name-cn").text.strip(),
????????????????????????? tds[1].find(class_="name-en").text.strip(),
????????????????????????? tds[1].find(class_="tags").text.strip(),
????????????????????????? tds[2].text.strip(),
? ????????????????????????tds[3].text.strip(),
????????????????????????? tds[4].text.strip(),
????????????????????????? tds[5].text.strip()])
??? return ulist
def main():
??? #獲取BeautifulSoup對(duì)象
??? url = "https://www.shanghairanking.cn/rankings/bcur/2021"
? ??soup = getSoup(url)
??? uinfo = findUniversity(soup)
??? #寫(xiě)入Excel文件
??? wb=xw.Book()
??? sht=wb.sheets('Sheet1')
??? sht.range('a1').value=uinfo#將數(shù)據(jù)添加到表格中
??? wb.save('D:\編程\代碼\課程設(shè)計(jì)\大學(xué)排名數(shù)據(jù).xlsx')
??? wb.close()
if __name__ == "__main__":
??? main()
【運(yùn)行結(jié)果:圖 6】
圖 6? 運(yùn)行結(jié)果
四、小結(jié)
通過(guò)此次課程設(shè)計(jì),使我更加扎實(shí)的掌握了python爬蟲(chóng)方面的知識(shí),在設(shè)計(jì)過(guò)程中雖然遇到了一些問(wèn)題,但經(jīng)過(guò)一次又一次的思考,一遍又一遍的檢查終于找出了原因所在,也暴露出了前期我在這方面的知識(shí)欠缺和經(jīng)驗(yàn)不足。實(shí)踐出真知,通過(guò)親自動(dòng)手制作,使我們掌握的知識(shí)不再是紙上談兵。
在課程設(shè)計(jì)過(guò)程中,我們持續(xù)發(fā)現(xiàn)錯(cuò)誤,持續(xù)改正,持續(xù)領(lǐng)悟,持續(xù)獲取。最終的檢測(cè)調(diào)試環(huán)節(jié),本身就是在踐行“過(guò)而能改,善莫大焉”的知行觀。這次課程設(shè)計(jì)終于順利完成了,在設(shè)計(jì)中遇到了很多問(wèn)題,最后在老師的指導(dǎo)下,終于游逆而解。在今后社會(huì)的發(fā)展和學(xué)習(xí)實(shí)踐過(guò)程中,一定要不懈努力,不能遇到問(wèn)題就想到要退縮,一定要不厭其煩的發(fā)現(xiàn)問(wèn)題所在,然后一一實(shí)行解決,只有這樣,才能成功的做成想做的事,才能在今后的道路上劈荊斬棘,而不是知難而退,那樣永遠(yuǎn)不可能收獲成功,收獲喜悅,也永遠(yuǎn)不可能得到社會(huì)及他人對(duì)你的認(rèn)可!
回顧起此課程設(shè)計(jì),至今我仍感慨頗多,從理論到實(shí)踐,在這段日子里,能夠說(shuō)得是苦多于甜,但是能夠?qū)W到很多很多的東西,同時(shí)不但能夠鞏固了以前所學(xué)過(guò)的知識(shí),而且學(xué)到了很多在書(shū)本上所沒(méi)有學(xué)到過(guò)的知識(shí)。通過(guò)這次課程設(shè)計(jì)使我懂得了理論與實(shí)際相結(jié)合是很重要的,只有理論知識(shí)是遠(yuǎn)遠(yuǎn)不夠的,只有把所學(xué)的理論知識(shí)與實(shí)踐相結(jié)合起來(lái),從理論中得出結(jié)論,才能真正為社會(huì)服務(wù),從而提升自己的實(shí)際動(dòng)手水平和獨(dú)立思考的水平。在設(shè)計(jì)的過(guò)程中遇到問(wèn)題,能夠說(shuō)得是困難重重,但可喜的是最終都得到了解決。
實(shí)驗(yàn)過(guò)程中,也對(duì)團(tuán)隊(duì)精神的實(shí)行了考察,讓我們?cè)诤献髌饋?lái)更加默契,在成功后一起體會(huì)喜悅的心情。果然是團(tuán)結(jié)就是力量,只有互相之間默契融洽的配合才能換來(lái)最終完美的結(jié)果。
五、參考文獻(xiàn)
[1]Python語(yǔ)言在大數(shù)據(jù)分析中的應(yīng)用[J].馮艷茹.電腦知識(shí)與技術(shù). 2020(24).
[2]Python網(wǎng)絡(luò)爬蟲(chóng)實(shí)例教程[M].人民郵電出版社,齊文光,2018.
[3]Python語(yǔ)言程序設(shè)計(jì)基礎(chǔ)[M].高等教育出版社,嵩天,2017.文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-479702.html
[4]Python爬蟲(chóng)技術(shù)的網(wǎng)頁(yè)數(shù)據(jù)抓取與分析[J].徐志,金偉.數(shù)字技術(shù)與應(yīng)用.2020(10).文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-479702.html
到了這里,關(guān)于Python課程設(shè)計(jì)《網(wǎng)絡(luò)爬蟲(chóng)-中國(guó)大學(xué)排名課程設(shè)計(jì)》的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!