---

??博__主??：米碼收割機(jī)
??技__能??：C++/Python語(yǔ)言
??公眾號(hào)??：測(cè)試開發(fā)自動(dòng)化【獲取源碼+商業(yè)合作】
??榮__譽(yù)??：阿里云博客專家博主、51CTO技術(shù)博主
??專__注??：專注主流機(jī)器人、人工智能等相關(guān)領(lǐng)域的開發(fā)、測(cè)試技術(shù)。

python旅游網(wǎng)數(shù)據(jù)抓取分析

---

解析目標(biāo)網(wǎng)址

每個(gè)爬蟲針對(duì)特定的目標(biāo)網(wǎng)站（去哪兒網(wǎng)）進(jìn)行數(shù)據(jù)抓取和解析。每個(gè)爬蟲的功能和它們?nèi)绾谓馕瞿繕?biāo)網(wǎng)站的數(shù)據(jù)。

1. WorldCountrySpider：爬蟲用于抓取世界各國(guó)家的名稱。它首先訪問 https://travel.qunar.com/，然后利用XPath解析網(wǎng)頁(yè)中的國(guó)家名稱。假設(shè)國(guó)家名稱被包裹在 <a>標(biāo)簽且類名為country-name中，爬蟲將提取所有這些標(biāo)簽的文本內(nèi)容。

2. CityAttractionSpider：爬蟲的目的是抓取特定城市的景點(diǎn)數(shù)量。它遍歷了一系列城市的URL（如上海、北京等），然后通過XPath從頁(yè)面中提取景點(diǎn)數(shù)量。假設(shè)景點(diǎn)數(shù)量信息位于ID為pager-container的

   標(biāo)簽的data-total-count屬性中。

3. DestinationCommentSpider：爬蟲用于統(tǒng)計(jì)特定目的地的評(píng)論數(shù)量。它訪問了包含評(píng)論信息的API URL，并使用正則表達(dá)式從響應(yīng)中提取評(píng)論數(shù)量。爬蟲假定評(píng)論數(shù)量被包裹在標(biāo)簽中。

4. FlightPriceSpider：爬蟲用于抓取特定航線的機(jī)票價(jià)格。它訪問了一個(gè)包含航班價(jià)格信息的API，并使用Python的json模塊來解析返回的JSON數(shù)據(jù)。爬蟲提取了出發(fā)城市、到達(dá)城市以及機(jī)票價(jià)格。

5. FlightTimeSpider：爬蟲旨在抓取航班的起飛時(shí)間。它同樣訪問了包含航班信息的API，并解析了JSON響應(yīng)。然后，使用datetime模塊將日期字符串轉(zhuǎn)換為日期對(duì)象，以便后續(xù)處理。

6. HotelPriceSpider & HotelRatingSpider：爬蟲分別用于抓取酒店的價(jià)格和評(píng)分信息。它們?cè)L問了包含酒店信息的API，并解析了返回的JSON數(shù)據(jù)。提取了酒店名稱、城市、價(jià)格、房型、床型（對(duì)于價(jià)格爬蟲）以及評(píng)分（對(duì)于評(píng)分爬蟲）。
   數(shù)據(jù)解析方法：XPath: 用于從HTML響應(yīng)中提取數(shù)據(jù)。XPath是一種在XML文檔中查找信息的語(yǔ)言，也適用于HTML。
   正則表達(dá)式：用于從文本中提取符合特定模式的數(shù)據(jù)。
   JSON解析：用于處理返回JSON格式的響應(yīng)，如API請(qǐng)求的結(jié)果。

關(guān)注公眾號(hào)，回復(fù) “旅游網(wǎng)數(shù)據(jù)抓取分析” 獲取源碼

城市及其景點(diǎn)數(shù)量分析

process_item 方法: 此方法是Pipeline的核心，它處理每個(gè)傳遞給Pipeline的項(xiàng)目（即在爬蟲中提取的數(shù)據(jù)項(xiàng)）。對(duì)于QunarPipeline，它期望接收包含城市名稱和景點(diǎn)數(shù)量的項(xiàng)目。方法中的邏輯是將城市名稱作為鍵，景點(diǎn)數(shù)量作為值存儲(chǔ)在self.data字典中。這種鍵值對(duì)存儲(chǔ)方式簡(jiǎn)化了數(shù)據(jù)的聚合和后續(xù)處理。
close_spider 方法: 當(dāng)爬蟲結(jié)束時(shí)，此方法被調(diào)用。在這個(gè)階段，所有的數(shù)據(jù)項(xiàng)都已經(jīng)通過process_item方法處理并存儲(chǔ)在self.data字典中。close_spider方法的作用是使用這些數(shù)據(jù)創(chuàng)建最終的可視化表示。使用pyecharts庫(kù)中的Bar對(duì)象創(chuàng)建條形圖，其中X軸表示城市名稱，Y軸表示各個(gè)城市的景點(diǎn)數(shù)量。條形圖的標(biāo)題和其他全局選項(xiàng)也在此處設(shè)置。
數(shù)據(jù)可視化: 使用pyecharts創(chuàng)建的條形圖可以直觀地展示各個(gè)城市的景點(diǎn)數(shù)量對(duì)比。這種可視化對(duì)于理解和比較不同城市的旅游資源非常有用。最后，該條形圖被渲染為一個(gè)HTML文件，可以在Web瀏覽器中查看。

關(guān)注公眾號(hào)，回復(fù) “旅游網(wǎng)數(shù)據(jù)抓取分析” 獲取源碼??????

部分代碼如下：

class QunarPipeline:
   def open_spider(self, spider):
       self.data = {}

   def process_item(self, item, spider):
       self.data[item['city']] = item['attraction_count']
       return item

   def close_spider(self, spider):
       bar = Bar()
       bar.add_xaxis(list(self.data.keys()))
       bar.add_yaxis("Cities", list(self.data.values()))
       bar.set_global_opts(title_opts=opts.TitleOpts(title="城市景點(diǎn)數(shù)量直方圖"))
       bar.render("bar_chart.html")

景點(diǎn)及其評(píng)分的數(shù)據(jù)

RatingPipeline 的主要功能是處理和可視化特定景點(diǎn)及其評(píng)分的數(shù)據(jù)。它專門針對(duì)爬取的景點(diǎn)評(píng)分?jǐn)?shù)據(jù)進(jìn)行處理和呈現(xiàn)。
open_spider 方法: 這個(gè)方法在爬蟲啟動(dòng)時(shí)被調(diào)用。在這里，它初始化了一個(gè)空字典 self.data，用來存儲(chǔ)景點(diǎn)名稱及其對(duì)應(yīng)的評(píng)分。此字典作為存儲(chǔ)結(jié)構(gòu)有助于后續(xù)的數(shù)據(jù)聚合和可視化。

RatingPipeline 精確地處理了景點(diǎn)評(píng)分?jǐn)?shù)據(jù)，并有效利用pyecharts庫(kù)生成了一種直觀的可視化方式。這不僅提高了代碼的可讀性和可維護(hù)性，也提供了一種靈活的方法來展示和比較不同景點(diǎn)的評(píng)價(jià)。通過這樣的可視化，用戶可以更容易地根據(jù)評(píng)分選擇景點(diǎn)。

部分代碼如下：

class RatingPipeline:
   def open_spider(self, spider):
       self.data = {}

   def process_item(self, item, spider):
       self.data[item['place']] = item['score']
       return item

   def close_spider(self, spider):
       line = Line()
       line.add_xaxis(list(self.data.keys()))
       line.add_yaxis("評(píng)分", list(self.data.values()))
       line.set_global_opts(title_opts=opts.TitleOpts(title="地點(diǎn)評(píng)分折線圖"))
       line.render("places_ratings_line_chart.html")

酒店價(jià)格信息分析

open_spider 方法: 在爬蟲啟動(dòng)時(shí)被調(diào)用。此方法初始化兩個(gè)主要結(jié)構(gòu)：self.city_aver_price 字典用于存儲(chǔ)每個(gè)城市的酒店平均價(jià)格，而 self.city_message_price 列表用于收集酒店的詳細(xì)信息，包括名稱、城市、價(jià)格、房型和床型。
process_item 方法: 此方法是Pipeline的關(guān)鍵部分，它處理每個(gè)酒店數(shù)據(jù)項(xiàng)。首先，酒店的詳細(xì)信息被添加到 self.city_message_price 列表中。隨后，該方法檢查 self.city_aver_price 字典中是否已存在該酒店所在城市的鍵值。如果不存在，會(huì)為該城市創(chuàng)建一個(gè)新條目，用于存儲(chǔ)所有酒店的價(jià)格。這些價(jià)格隨后被用于計(jì)算每個(gè)城市的酒店平均價(jià)格。
close_spider 方法: 在爬蟲結(jié)束時(shí)調(diào)用。這個(gè)方法首先將所有酒店的詳細(xì)信息存儲(chǔ)到CSV文件中，為數(shù)據(jù)分析和記錄提供了一個(gè)可靠的數(shù)據(jù)源。接下來，該方法計(jì)算每個(gè)城市的酒店平均價(jià)格，并使用 pyecharts 庫(kù)創(chuàng)建一個(gè)條形圖來可視化這些數(shù)據(jù)。

HotelPricePipeline 有效地整合了酒店數(shù)據(jù)的收集、存儲(chǔ)和可視化。通過這種方式，它不僅提供了有用的市場(chǎng)洞察，還以易于理解的格式呈現(xiàn)了數(shù)據(jù)，使得決策者和消費(fèi)者可以根據(jù)實(shí)際數(shù)據(jù)做出更明智的選擇。

部分代碼如下：

class HotelPricePipeline:
   def open_spider(self, spider):
       self.city_aver_price = {}
       self.city_message_price = [["酒店名稱", "城市", "價(jià)格", "房型", "床型"]]

   def process_item(self, item, spider):
      pass
      
   def close_spider(self, spider):
       # 保存數(shù)據(jù)到CSV文件
       with open('city_message_price.csv', mode='w', newline='', encoding='utf-8-sig') as file:
           writer = csv.writer(file)
           writer.writerows(self.city_message_price)

       # 計(jì)算每個(gè)城市的平均價(jià)格
       for city in self.city_aver_price:
           self.city_aver_price[city] = sum(self.city_aver_price[city]) / len(self.city_aver_price[city])

航班的價(jià)格數(shù)據(jù)分析

FlightPricePipeline 主要用于處理和分析航班的價(jià)格數(shù)據(jù)。它的核心功能是從爬蟲返回的數(shù)據(jù)中提取航班價(jià)格信息，并基于這些數(shù)據(jù)創(chuàng)建可視化圖表。

部分代碼如下：

class FlightPricesPipeline:
   def open_spider(self, spider):
       self.arr_money = {'SHA': [], 'BJS': [], 'HGH': [], 'CKG': []}

   def process_item(self, item, spider):
       self.arr_money[item['dep_city']].append(item['price'])
       return item
    def close_spider(self, spider):
       scatter = Scatter()
       scatter.add_xaxis([str(x) for x in range(17)])  # 橫軸為數(shù)據(jù)點(diǎn)的序號(hào)
       for city, values in self.arr_money.items():
           scatter.add_yaxis(city, values, symbol_size=10)

       scatter.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
       scatter.set_global_opts(
           title_opts=opts.TitleOpts(title="城市數(shù)據(jù)散點(diǎn)圖"),
           xaxis_opts=opts.AxisOpts(type_="category", name="城市"),
           yaxis_opts=opts.AxisOpts(type_="value", name="數(shù)據(jù)值"),
       )

旅游目的地的評(píng)論數(shù)量分析

DestinationCommentPipeline 專注于處理和可視化特定旅游目的地的評(píng)論數(shù)量數(shù)據(jù)。它的主要作用是從爬蟲抓取的數(shù)據(jù)中提取評(píng)論計(jì)數(shù)，并將這些數(shù)據(jù)轉(zhuǎn)換成可視化的形式，以提供關(guān)于各個(gè)旅游目的地受歡迎程度的直觀理解。

酒店評(píng)分?jǐn)?shù)據(jù)分析

HotelRatingPipeline 主要用于處理和可視化酒店評(píng)分?jǐn)?shù)據(jù)。它的作用是收集各個(gè)酒店的評(píng)分信息，并將這些數(shù)據(jù)通過折線圖的形式進(jìn)行展示，以便用戶能夠直觀地理解不同酒店的評(píng)分情況。

航班起飛時(shí)間的數(shù)據(jù)分析

FlightTimePipeline 專注于處理航班起飛時(shí)間的數(shù)據(jù)。其主要目標(biāo)是收集各個(gè)城市的航班起飛時(shí)間，并通過箱線圖的形式對(duì)這些數(shù)據(jù)進(jìn)行可視化展示。

關(guān)注公眾號(hào)，??????回復(fù) “旅游網(wǎng)數(shù)據(jù)抓取分析” 獲取源碼??????文章來源地址http://www.zghlxwxcb.cn/news/detail-759512.html

熱門城市旅游攻略分析

代碼定義了一個(gè)名為 TravelMapPipeline 的類，其功能是在爬蟲關(guān)閉時(shí)創(chuàng)建并保存中國(guó)省份和世界國(guó)家分布的地圖。

關(guān)注公眾號(hào)，??????回復(fù) “旅游網(wǎng)數(shù)據(jù)抓取分析” 獲取源碼??????

到了這里，關(guān)于【python】python旅游網(wǎng)數(shù)據(jù)抓取分析(源碼+論文)【獨(dú)一無二】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！