国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【分布式搜索引擎02】

這篇具有很好參考價值的文章主要介紹了【分布式搜索引擎02】。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

1.DSL查詢文檔

elasticsearch的查詢依然是基于JSON風格的DSL來實現的。

1.1.DSL查詢分類

Elasticsearch提供了基于JSON的DSL(Domain Specific Language)來定義查詢。常見的查詢類型包括:

  • 查詢所有:查詢出所有數據,一般測試用。例如:match_all

  • 全文檢索(full text)查詢:利用分詞器對用戶輸入內容分詞,然后去倒排索引庫中匹配。例如:

    • match_query
    • multi_match_query
  • 精確查詢:根據精確詞條值查找數據,一般是查找keyword、數值、日期、boolean等類型字段。例如:

    • ids
    • range
    • term
  • 地理(geo)查詢:根據經緯度查詢。例如:

    • geo_distance
    • geo_bounding_box
  • 復合(compound)查詢:復合查詢可以將上述各種查詢條件組合起來,合并查詢條件。例如:

    • bool
    • function_score

查詢的語法基本一致:

GET /indexName/_search
{
  "query": {
    "查詢類型": {
      "查詢條件": "條件值"
    }
  }
}

我們以查詢所有為例,其中:

  • 查詢類型為match_all
  • 沒有查詢條件
// 查詢所有
GET /indexName/_search
{
  "query": {
    "match_all": {
    }
  }
}

其它查詢無非就是查詢類型、查詢條件的變化。

1.2.全文檢索查詢

1.2.1.使用場景

全文檢索查詢的基本流程如下:

  • 對用戶搜索的內容做分詞,得到詞條
  • 根據詞條去倒排索引庫中匹配,得到文檔id
  • 根據文檔id找到文檔,返回給用戶

比較常用的場景包括:

  • 商城的輸入框搜索
  • 百度輸入框搜索

例如京東:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-G7odjreu-1682371592787)(https://s2.loli.net/2023/04/19/odXCOFgbTAJxELG.png)]

因為是拿著詞條去匹配,因此參與搜索的字段也必須是可分詞的text類型的字段。

1.2.2.基本語法

常見的全文檢索查詢包括:

  • match查詢:單字段查詢
  • multi_match查詢:多字段查詢,任意一個字段符合條件就算符合查詢條件

match查詢語法如下:

GET /indexName/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT"
    }
  }
}

mulit_match語法如下:

GET /indexName/_search
{
  "query": {
    "multi_match": {
      "query": "TEXT",
      "fields": ["FIELD1", " FIELD12"]
    }
  }
}

1.2.3.示例

match查詢示例:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-NPvWUWvN-1682371592788)(https://s2.loli.net/2023/04/19/HZ6NnlAFXvDuJx9.png)]

multi_match查詢示例:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-dAVudq6c-1682371592789)(https://s2.loli.net/2023/04/19/9NVKQWDd6u3m2lU.png)]

可以看到,兩種查詢結果是一樣的,為什么?

因為我們將brand、name、business值都利用copy_to復制到了all字段中。因此你根據三個字段搜索,和根據all字段搜索效果當然一樣了。

但是,搜索字段越多,對查詢性能影響越大,因此建議采用copy_to,然后單字段查詢的方式。

1.2.4.總結

match和multi_match的區(qū)別是什么?

  • match:根據一個字段查詢
  • multi_match:根據多個字段查詢,參與查詢字段越多,查詢性能越差

1.3.精準查詢

精確查詢一般是查找keyword、數值、日期、boolean等類型字段。所以不會對搜索條件分詞。常見的有:

  • term:根據詞條精確值查詢
  • range:根據值的范圍查詢

1.3.1.term查詢

因為精確查詢的字段搜是不分詞的字段,因此查詢的條件也必須是不分詞的詞條。查詢時,用戶輸入的內容跟自動值完全匹配時才認為符合條件。如果用戶輸入的內容過多,反而搜索不到數據。

語法說明:

// term查詢
GET /indexName/_search
{
  "query": {
    "term": {
      "FIELD": {
        "value": "VALUE"
      }
    }
  }
}

示例:

當我搜索的是精確詞條時,能正確查詢出結果:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-c07FjKiw-1682371592791)(https://s2.loli.net/2023/04/19/sP3WwxKnDUa2vN6.png)]

但是,當我搜索的內容不是詞條,而是多個詞語形成的短語時,反而搜索不到:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-0lfIIKI4-1682371592792)(https://s2.loli.net/2023/04/19/8pgKPBf9VzLU5OW.png)]

1.3.2.range查詢

范圍查詢,一般應用在對數值類型做范圍過濾的時候。比如做價格范圍過濾。

基本語法:

// range查詢
GET /indexName/_search
{
  "query": {
    "range": {
      "FIELD": {
        "gte": 10, // 這里的gte代表大于等于,gt則代表大于
        "lte": 20 // lte代表小于等于,lt則代表小于
      }
    }
  }
}

示例:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-8MZRuhVD-1682371592793)(https://s2.loli.net/2023/04/19/Yz5LHuZb16JGOr3.png)]

1.3.3.總結

精確查詢常見的有哪些?

  • term查詢:根據詞條精確匹配,一般搜索keyword類型、數值類型、布爾類型、日期類型字段
  • range查詢:根據數值范圍查詢,可以是數值、日期的范圍

1.4.地理坐標查詢

所謂的地理坐標查詢,其實就是根據經緯度查詢,官方文檔:https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html

常見的使用場景包括:

  • 攜程:搜索我附近的酒店
  • 滴滴:搜索我附近的出租車
  • 微信:搜索我附近的人

附近的酒店:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-IcqgvsdT-1682371592793)(https://s2.loli.net/2023/04/19/c6eKVMPyJ1LDGZS.png)]

附近的車:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-op1uKaA1-1682371592794)(https://s2.loli.net/2023/04/19/sM2Tg3J8hApUlOS.png)]

1.4.1.矩形范圍查詢

矩形范圍查詢,也就是geo_bounding_box查詢,查詢坐標落在某個矩形范圍的所有文檔:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-89P7kh4N-1682371592795)(https://s2.loli.net/2023/04/19/iHgLZJukKc36v4o.gif)]

查詢時,需要指定矩形的左上、右下兩個點的坐標,然后畫出一個矩形,落在該矩形內的都是符合條件的點。

語法如下:

// geo_bounding_box查詢
GET /indexName/_search
{
  "query": {
    "geo_bounding_box": {
      "FIELD": {
        "top_left": { // 左上點
          "lat": 31.1,
          "lon": 121.5
        },
        "bottom_right": { // 右下點
          "lat": 30.9,
          "lon": 121.7
        }
      }
    }
  }
}

這種并不符合“附近的人”這樣的需求,所以我們就不做了。

1.4.2.附近查詢

附近查詢,也叫做距離查詢(geo_distance):查詢到指定中心點小于某個距離值的所有文檔。

換句話來說,在地圖上找一個點作為圓心,以指定距離為半徑,畫一個圓,落在圓內的坐標都算符合條件:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-RsMR15Tr-1682371592795)(https://s2.loli.net/2023/04/19/Q3nLO5C6lDxfybN.gif)]

語法說明:

// geo_distance 查詢
GET /indexName/_search
{
  "query": {
    "geo_distance": {
      "distance": "15km", // 半徑
      "FIELD": "31.21,121.5" // 圓心
    }
  }
}

示例:

我們先搜索陸家嘴附近15km的酒店:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-gt0rFoIk-1682371592796)(https://s2.loli.net/2023/04/19/e1SYHcdFRlJg9IE.png)]

發(fā)現共有47家酒店。

然后把半徑縮短到3公里:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Rj8xJB77-1682371592796)(https://s2.loli.net/2023/04/19/LnzDjVTg53vbwQ8.png)]

可以發(fā)現,搜索到的酒店數量減少到了5家。

1.5.復合查詢

復合(compound)查詢:復合查詢可以將其它簡單查詢組合起來,實現更復雜的搜索邏輯。常見的有兩種:

  • fuction score:算分函數查詢,可以控制文檔相關性算分,控制文檔排名
  • bool query:布爾查詢,利用邏輯關系組合多個其它的查詢,實現復雜搜索

1.5.1.相關性算分

當我們利用match查詢時,文檔結果會根據與搜索詞條的關聯度打分(_score),返回結果時按照分值降序排列。

例如,我們搜索 “虹橋如家”,結果如下:

[
  {
    "_score" : 17.850193,
    "_source" : {
      "name" : "虹橋如家酒店真不錯",
    }
  },
  {
    "_score" : 12.259849,
    "_source" : {
      "name" : "外灘如家酒店真不錯",
    }
  },
  {
    "_score" : 11.91091,
    "_source" : {
      "name" : "迪士尼如家酒店真不錯",
    }
  }
]

在elasticsearch中,早期使用的打分算法是TF-IDF算法,公式如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-joSceASu-1682371592797)(https://s2.loli.net/2023/04/19/d5jNWaR9Fyq421t.png)]

在后來的5.1版本升級中,elasticsearch將算法改進為BM25算法,公式如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-FtXhWUEJ-1682371592798)(https://s2.loli.net/2023/04/19/cJRD5H4Aapy7FIh.png)]

TF-IDF算法有一各缺陷,就是詞條頻率越高,文檔得分也會越高,單個詞條對文檔影響較大。而BM25則會讓單個詞條的算分有一個上限,曲線更加平滑:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-WgqIAuNR-1682371592798)(https://s2.loli.net/2023/04/19/mhSGAuFX3Zg57we.png)]

小結:elasticsearch會根據詞條和文檔的相關度做打分,算法由兩種:

  • TF-IDF算法
  • BM25算法,elasticsearch5.1版本后采用的算法

1.5.2.算分函數查詢

根據相關度打分是比較合理的需求,但合理的不一定是產品經理需要的。

以百度為例,你搜索的結果中,并不是相關度越高排名越靠前,而是誰掏的錢多排名就越靠前。如圖:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-n6letlmY-1682371592799)(https://s2.loli.net/2023/04/19/NKHYnP24k6RrQwD.png)]

要想認為控制相關性算分,就需要利用elasticsearch中的function score 查詢了。

1)語法說明

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-euWRzGCB-1682371592800)(https://s2.loli.net/2023/04/19/8wTKdoIAr7PGZgN.png)]

function score 查詢中包含四部分內容:

  • 原始查詢條件:query部分,基于這個條件搜索文檔,并且基于BM25算法給文檔打分,原始算分(query score)
  • 過濾條件:filter部分,符合該條件的文檔才會重新算分
  • 算分函數:符合filter條件的文檔要根據這個函數做運算,得到的函數算分(function score),有四種函數
    • weight:函數結果是常量
    • field_value_factor:以文檔中的某個字段值作為函數結果
    • random_score:以隨機數作為函數結果
    • script_score:自定義算分函數算法
  • 運算模式:算分函數的結果、原始查詢的相關性算分,兩者之間的運算方式,包括:
    • multiply:相乘
    • replace:用function score替換query score
    • 其它,例如:sum、avg、max、min

function score的運行流程如下:

  • 1)根據原始條件查詢搜索文檔,并且計算相關性算分,稱為原始算分(query score)
  • 2)根據過濾條件,過濾文檔
  • 3)符合過濾條件的文檔,基于算分函數運算,得到函數算分(function score)
  • 4)將原始算分(query score)和函數算分(function score)基于運算模式做運算,得到最終結果,作為相關性算分。

因此,其中的關鍵點是:

  • 過濾條件:決定哪些文檔的算分被修改
  • 算分函數:決定函數算分的算法
  • 運算模式:決定最終算分結果
2)示例

需求:給“如家”這個品牌的酒店排名靠前一些

翻譯一下這個需求,轉換為之前說的四個要點:

  • 原始條件:不確定,可以任意變化
  • 過濾條件:brand = “如家”
  • 算分函數:可以簡單粗暴,直接給固定的算分結果,weight
  • 運算模式:比如求和

因此最終的DSL語句如下:

GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {  .... }, // 原始查詢,可以是任意條件
      "functions": [ // 算分函數
        {
          "filter": { // 滿足的條件,品牌必須是如家
            "term": {
              "brand": "如家"
            }
          },
          "weight": 2 // 算分權重為2
        }
      ],
      "boost_mode": "sum" // 加權模式,求和
    }
  }
}

測試,在未添加算分函數時,如家得分如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-uSMXqZvD-1682371592800)(https://s2.loli.net/2023/04/19/51NBGyzPOaFsgdj.png)]

添加了算分函數后,如家得分就提升了:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-6BlEKxAj-1682371592801)(https://s2.loli.net/2023/04/19/lX2tyjY3wPSMgUr.png)]

3)小結

function score query定義的三要素是什么?

  • 過濾條件:哪些文檔要加分
  • 算分函數:如何計算function score
  • 加權方式:function score 與 query score如何運算

1.5.3.布爾查詢

布爾查詢是一個或多個查詢子句的組合,每一個子句就是一個子查詢。子查詢的組合方式有:

  • must:必須匹配每個子查詢,類似“與”
  • should:選擇性匹配子查詢,類似“或”
  • must_not:必須不匹配,不參與算分,類似“非”
  • filter:必須匹配,不參與算分

比如在搜索酒店時,除了關鍵字搜索外,我們還可能根據品牌、價格、城市等字段做過濾:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-sTuLQSI3-1682371592802)(https://s2.loli.net/2023/04/19/VxiORKmp9bnvelz.png)]

每一個不同的字段,其查詢的條件、方式都不一樣,必須是多個不同的查詢,而要組合這些查詢,就必須用bool查詢了。

需要注意的是,搜索時,參與打分的字段越多,查詢的性能也越差。因此這種多條件查詢時,建議這樣做:

  • 搜索框的關鍵字搜索,是全文檢索查詢,使用must查詢,參與算分
  • 其它過濾條件,采用filter查詢。不參與算分
1)語法示例:
GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"city": "上海" }}
      ],
      "should": [
        {"term": {"brand": "皇冠假日" }},
        {"term": {"brand": "華美達" }}
      ],
      "must_not": [
        { "range": { "price": { "lte": 500 } }}
      ],
      "filter": [
        { "range": {"score": { "gte": 45 } }}
      ]
    }
  }
}
2)示例

需求:搜索名字包含“如家”,價格不高于400,在坐標31.21,121.5周圍10km范圍內的酒店。

分析:

  • 名稱搜索,屬于全文檢索查詢,應該參與算分。放到must中
  • 價格不高于400,用range查詢,屬于過濾條件,不參與算分。放到must_not中
  • 周圍10km范圍內,用geo_distance查詢,屬于過濾條件,不參與算分。放到filter中

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-hRBnfTJY-1682371592802)(https://s2.loli.net/2023/04/19/z5YqDkdILScyMKe.png)]

3)小結

bool查詢有幾種邏輯關系?

  • must:必須匹配的條件,可以理解為“與”
  • should:選擇性匹配的條件,可以理解為“或”
  • must_not:必須不匹配的條件,不參與打分
  • filter:必須匹配的條件,不參與打分

2.搜索結果處理

搜索的結果可以按照用戶指定的方式去處理或展示。

2.1.排序

elasticsearch默認是根據相關度算分(_score)來排序,但是也支持自定義方式對搜索結果排序。可以排序字段類型有:keyword類型、數值類型、地理坐標類型、日期類型等。

2.1.1.普通字段排序

keyword、數值、日期類型排序的語法基本一致。

語法

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "FIELD": "desc"  // 排序字段、排序方式ASC、DESC
    }
  ]
}

排序條件是一個數組,也就是可以寫多個排序條件。按照聲明的順序,當第一個條件相等時,再按照第二個條件排序,以此類推

示例

需求描述:酒店數據按照用戶評價(score)降序排序,評價相同的按照價格(price)升序排序

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-TWxvcQYJ-1682371592803)(https://s2.loli.net/2023/04/19/5DmqFLRsIkoJWjz.png)]

2.1.2.地理坐標排序

地理坐標排序略有不同。

語法說明

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "_geo_distance" : {
          "FIELD" : "緯度,經度", // 文檔中geo_point類型的字段名、目標坐標點
          "order" : "asc", // 排序方式
          "unit" : "km" // 排序的距離單位
      }
    }
  ]
}

這個查詢的含義是:

  • 指定一個坐標,作為目標點
  • 計算每一個文檔中,指定字段(必須是geo_point類型)的坐標 到目標點的距離是多少
  • 根據距離排序

示例:

需求描述:實現對酒店數據按照到你的位置坐標的距離升序排序

提示:獲取你的位置的經緯度的方式:https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/

假設我的位置是:31.034661,121.612282,尋找我周圍距離最近的酒店。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-CzyvzKID-1682371592803)(https://s2.loli.net/2023/04/19/KkvLIReco7nYrT9.png)]

2.2.分頁

elasticsearch 默認情況下只返回top10的數據。而如果要查詢更多數據就需要修改分頁參數了。elasticsearch中通過修改from、size參數來控制要返回的分頁結果:

  • from:從第幾個文檔開始
  • size:總共查詢幾個文檔

類似于mysql中的limit ?, ?

2.2.1.基本的分頁

分頁的基本語法如下:

GET /hotel/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0, // 分頁開始的位置,默認為0
  "size": 10, // 期望獲取的文檔總數
  "sort": [
    {"price": "asc"}
  ]
}

2.2.2.深度分頁問題

現在,我要查詢990~1000的數據,查詢邏輯要這么寫:

GET /hotel/_search
{
  "query": {
    "match_all": {}
  },
  "from": 990, // 分頁開始的位置,默認為0
  "size": 10, // 期望獲取的文檔總數
  "sort": [
    {"price": "asc"}
  ]
}

這里是查詢990開始的數據,也就是 第990~第1000條 數據。

不過,elasticsearch內部分頁時,必須先查詢 0~1000條,然后截取其中的990 ~ 1000的這10條:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-ddExvwkt-1682371592804)(https://s2.loli.net/2023/04/19/i3AJK89ea7yDmhL.png)]

查詢TOP1000,如果es是單點模式,這并無太大影響。

但是elasticsearch將來一定是集群,例如我集群有5個節(jié)點,我要查詢TOP1000的數據,并不是每個節(jié)點查詢200條就可以了。

因為節(jié)點A的TOP200,在另一個節(jié)點可能排到10000名以外了。

因此要想獲取整個集群的TOP1000,必須先查詢出每個節(jié)點的TOP1000,匯總結果后,重新排名,重新截取TOP1000。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-KA5gA57d-1682371592805)(https://s2.loli.net/2023/04/19/CRtpGnTxiJMqob3.png)]

那如果我要查詢9900~10000的數據呢?是不是要先查詢TOP10000呢?那每個節(jié)點都要查詢10000條?匯總到內存中?

當查詢分頁深度較大時,匯總數據過多,對內存和CPU會產生非常大的壓力,因此elasticsearch會禁止from+ size 超過10000的請求。

針對深度分頁,ES提供了兩種解決方案,官方文檔:

  • search after:分頁時需要排序,原理是從上一次的排序值開始,查詢下一頁數據。官方推薦使用的方式。
  • scroll:原理將排序后的文檔id形成快照,保存在內存。官方已經不推薦使用。

2.2.3.小結

分頁查詢的常見實現方案以及優(yōu)缺點:

  • from + size

    • 優(yōu)點:支持隨機翻頁
    • 缺點:深度分頁問題,默認查詢上限(from + size)是10000
    • 場景:百度、京東、谷歌、淘寶這樣的隨機翻頁搜索
  • after search

    • 優(yōu)點:沒有查詢上限(單次查詢的size不超過10000)
    • 缺點:只能向后逐頁查詢,不支持隨機翻頁
    • 場景:沒有隨機翻頁需求的搜索,例如手機向下滾動翻頁
  • scroll

    • 優(yōu)點:沒有查詢上限(單次查詢的size不超過10000)
    • 缺點:會有額外內存消耗,并且搜索結果是非實時的
    • 場景:海量數據的獲取和遷移。從ES7.1開始不推薦,建議用 after search方案。

2.3.高亮

2.3.1.高亮原理

什么是高亮顯示呢?

我們在百度,京東搜索時,關鍵字會變成紅色,比較醒目,這叫高亮顯示:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-1ywXM4Qh-1682371592805)(https://s2.loli.net/2023/04/19/lWGIEO79xhQ85HJ.png)]

高亮顯示的實現分為兩步:

  • 1)給文檔中的所有關鍵字都添加一個標簽,例如<em>標簽
  • 2)頁面給<em>標簽編寫CSS樣式

2.3.2.實現高亮

高亮的語法

GET /hotel/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT" // 查詢條件,高亮一定要使用全文檢索查詢
    }
  },
  "highlight": {
    "fields": { // 指定要高亮的字段
      "FIELD": {
        "pre_tags": "<em>",  // 用來標記高亮字段的前置標簽
        "post_tags": "</em>" // 用來標記高亮字段的后置標簽
      }
    }
  }
}

注意:

  • 高亮是對關鍵字高亮,因此搜索條件必須帶有關鍵字,而不能是范圍這樣的查詢。
  • 默認情況下,高亮的字段,必須與搜索指定的字段一致,否則無法高亮
  • 如果要對非搜索字段高亮,則需要添加一個屬性:required_field_match=false

示例

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-w60NE07n-1682371592806)(https://s2.loli.net/2023/04/19/YvyrZmNKqXEBPuS.png)]

2.4.總結

查詢的DSL是一個大的JSON對象,包含下列屬性:

  • query:查詢條件
  • from和size:分頁條件
  • sort:排序條件
  • highlight:高亮條件

示例:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-9GbBJGXb-1682371592806)(https://s2.loli.net/2023/04/19/bNPrcuzZMWmJgdR.png)]

3.RestClient查詢文檔

文檔的查詢同樣適用昨天學習的 RestHighLevelClient對象,基本步驟包括:

  • 1)準備Request對象
  • 2)準備請求參數
  • 3)發(fā)起請求
  • 4)解析響應

3.1.快速入門

我們以match_all查詢?yōu)槔?/p>

3.1.1.發(fā)起查詢請求

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-qZz3WfJz-1682371592807)(https://s2.loli.net/2023/04/19/r6qZtbICQfSURAX.png)]

代碼解讀:

  • 第一步,創(chuàng)建SearchRequest對象,指定索引庫名

  • 第二步,利用request.source()構建DSL,DSL中可以包含查詢、分頁、排序、高亮等

    • query():代表查詢條件,利用QueryBuilders.matchAllQuery()構建一個match_all查詢的DSL
  • 第三步,利用client.search()發(fā)送請求,得到響應

這里關鍵的API有兩個,一個是request.source(),其中包含了查詢、排序、分頁、高亮等所有功能:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-F87xemmD-1682371592808)(https://s2.loli.net/2023/04/19/pV1QP6aGMoUuJTL.png)]

另一個是QueryBuilders,其中包含match、term、function_score、bool等各種查詢:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-iKQQ2O8K-1682371592808)(https://s2.loli.net/2023/04/19/fmaPz12uwMkSFpy.png)]

3.1.2.解析響應

響應結果的解析:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-uhRoBatp-1682371592809)(https://s2.loli.net/2023/04/19/1hAsVfXPEDFmZYJ.png)]

elasticsearch返回的結果是一個JSON字符串,結構包含:

  • hits:命中的結果
    • total:總條數,其中的value是具體的總條數值
    • max_score:所有結果中得分最高的文檔的相關性算分
    • hits:搜索結果的文檔數組,其中的每個文檔都是一個json對象
      • _source:文檔中的原始數據,也是json對象

因此,我們解析響應結果,就是逐層解析JSON字符串,流程如下:

  • SearchHits:通過response.getHits()獲取,就是JSON中的最外層的hits,代表命中的結果
    • SearchHits#getTotalHits().value:獲取總條數信息
    • SearchHits#getHits():獲取SearchHit數組,也就是文檔數組
      • SearchHit#getSourceAsString():獲取文檔結果中的_source,也就是原始的json文檔數據

3.1.3.完整代碼

完整代碼如下:

@Test
void testMatchAll() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    request.source()
        .query(QueryBuilders.matchAllQuery());
    // 3.發(fā)送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);

    // 4.解析響應
    handleResponse(response);
}

private void handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.獲取總條數
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜索到" + total + "條數據");
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍歷
    for (SearchHit hit : hits) {
        // 獲取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        System.out.println("hotelDoc = " + hotelDoc);
    }
}

3.1.4.小結

查詢的基本步驟是:

  1. 創(chuàng)建SearchRequest對象

  2. 準備Request.source(),也就是DSL。

    ① QueryBuilders來構建查詢條件

    ② 傳入Request.source() 的 query() 方法

  3. 發(fā)送請求,得到結果

  4. 解析結果(參考JSON結果,從外到內,逐層解析)

3.2.match查詢

全文檢索的match和multi_match查詢與match_all的API基本一致。差別是查詢條件,也就是query的部分。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-HxlOD0Ig-1682371592809)(https://s2.loli.net/2023/04/19/eqHgLzPUj4daTtu.png)]

因此,Java代碼上的差異主要是request.source().query()中的參數了。同樣是利用QueryBuilders提供的方法:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-JlfuBRlY-1682371592810)(https://s2.loli.net/2023/04/19/3CsmoVucEGFwdgz.png)]

而結果解析代碼則完全一致,可以抽取并共享。

完整代碼如下:

@Test
void testMatch() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    request.source()
        .query(QueryBuilders.matchQuery("all", "如家"));
    // 3.發(fā)送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}

3.3.精確查詢

精確查詢主要是兩者:

  • term:詞條精確匹配
  • range:范圍查詢

與之前的查詢相比,差異同樣在查詢條件,其它都一樣。

查詢條件構造的API如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-FlSdRYOn-1682371592811)(https://s2.loli.net/2023/04/19/M4HDTscyEF6wjLb.png)]

3.4.布爾查詢

布爾查詢是用must、must_not、filter等方式組合其它查詢,代碼示例如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-jWdnyWdi-1682371592811)(https://s2.loli.net/2023/04/19/QGWBzaR7rOYCwTo.png)]

可以看到,API與其它查詢的差別同樣是在查詢條件的構建,QueryBuilders,結果解析等其他代碼完全不變。

完整代碼如下:

@Test
void testBool() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.準備BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 2.2.添加term
    boolQuery.must(QueryBuilders.termQuery("city", "杭州"));
    // 2.3.添加range
    boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));

    request.source().query(boolQuery);
    // 3.發(fā)送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}

3.5.排序、分頁

搜索結果的排序和分頁是與query同級的參數,因此同樣是使用request.source()來設置。

對應的API如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-8E968PdP-1682371592812)(https://s2.loli.net/2023/04/19/OtS5xk6v4RlzYNg.png)]

完整代碼示例:

@Test
void testPageAndSort() throws IOException {
    // 頁碼,每頁大小
    int page = 1, size = 5;

    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchAllQuery());
    // 2.2.排序 sort
    request.source().sort("price", SortOrder.ASC);
    // 2.3.分頁 from、size
    request.source().from((page - 1) * size).size(5);
    // 3.發(fā)送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}

3.6.高亮

高亮的代碼與之前代碼差異較大,有兩點:

  • 查詢的DSL:其中除了查詢條件,還需要添加高亮條件,同樣是與query同級。
  • 結果解析:結果除了要解析_source文檔數據,還要解析高亮結果

3.6.1.高亮請求構建

高亮請求的構建API如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-hUXhCAfj-1682371592812)(https://s2.loli.net/2023/04/19/I7FQru5cJ9angyf.png)]

上述代碼省略了查詢條件部分,但是大家不要忘了:高亮查詢必須使用全文檢索查詢,并且要有搜索關鍵字,將來才可以對關鍵字高亮。

完整代碼如下:

@Test
void testHighlight() throws IOException {
    // 1.準備Request
    SearchRequest request = new SearchRequest("hotel");
    // 2.準備DSL
    // 2.1.query
    request.source().query(QueryBuilders.matchQuery("all", "如家"));
    // 2.2.高亮
    request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));
    // 3.發(fā)送請求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4.解析響應
    handleResponse(response);

}

3.6.2.高亮結果解析

高亮的結果與查詢的文檔結果默認是分離的,并不在一起。

因此解析高亮的代碼需要額外處理:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-NoDPYr8a-1682371592813)(https://s2.loli.net/2023/04/19/FiWgOZH9nVRjvp1.png)]

代碼解讀:

  • 第一步:從結果中獲取source。hit.getSourceAsString(),這部分是非高亮結果,json字符串。還需要反序列為HotelDoc對象
  • 第二步:獲取高亮結果。hit.getHighlightFields(),返回值是一個Map,key是高亮字段名稱,值是HighlightField對象,代表高亮值
  • 第三步:從map中根據高亮字段名稱,獲取高亮字段值對象HighlightField
  • 第四步:從HighlightField中獲取Fragments,并且轉為字符串。這部分就是真正的高亮字符串了
  • 第五步:用高亮的結果替換HotelDoc中的非高亮結果

完整代碼如下:

private void handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.獲取總條數
    long total = searchHits.getTotalHits().value;
    System.out.println("共搜索到" + total + "條數據");
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍歷
    for (SearchHit hit : hits) {
        // 獲取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
        // 獲取高亮結果
        Map<String, HighlightField> highlightFields = hit.getHighlightFields();
        if (!CollectionUtils.isEmpty(highlightFields)) {
            // 根據字段名獲取高亮結果
            HighlightField highlightField = highlightFields.get("name");
            if (highlightField != null) {
                // 獲取高亮值
                String name = highlightField.getFragments()[0].string();
                // 覆蓋非高亮結果
                hotelDoc.setName(name);
            }
        }
        System.out.println("hotelDoc = " + hotelDoc);
    }
}

4.黑馬旅游案例

下面,我們通過黑馬旅游的案例來實戰(zhàn)演練下之前學習的知識。

我們實現四部分功能:

  • 酒店搜索和分頁
  • 酒店結果過濾
  • 我周邊的酒店
  • 酒店競價排名

啟動我們提供的hotel-demo項目,其默認端口是8089,訪問http://localhost:8090,就能看到項目頁面了:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-CqnDJr1V-1682371592813)(https://s2.loli.net/2023/04/19/DqF4P1AuvZ7mhGX.png)]

4.1.酒店搜索和分頁

案例需求:實現黑馬旅游的酒店搜索功能,完成關鍵字搜索和分頁

4.1.1.需求分析

在項目的首頁,有一個大大的搜索框,還有分頁按鈕:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-T56bxsi7-1682371592814)(https://s2.loli.net/2023/04/19/mjydrvo2GfqJ6hP.png)]

點擊搜索按鈕,可以看到瀏覽器控制臺發(fā)出了請求:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-o07sTN4J-1682371592814)(https://s2.loli.net/2023/04/19/iGcJSXUMk3wRxpu.png)]

請求參數如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-dj0DA9FZ-1682371592815)(https://s2.loli.net/2023/04/19/iu6scQXwqW3BV1Z.png)]

由此可以知道,我們這個請求的信息如下:

  • 請求方式:POST
  • 請求路徑:/hotel/list
  • 請求參數:JSON對象,包含4個字段:
    • key:搜索關鍵字
    • page:頁碼
    • size:每頁大小
    • sortBy:排序,目前暫不實現
  • 返回值:分頁查詢,需要返回分頁結果PageResult,包含兩個屬性:
    • total:總條數
    • List<HotelDoc>:當前頁的數據

因此,我們實現業(yè)務的流程如下:

  • 步驟一:定義實體類,接收請求參數的JSON對象
  • 步驟二:編寫controller,接收頁面的請求
  • 步驟三:編寫業(yè)務實現,利用RestHighLevelClient實現搜索、分頁

4.1.2.定義實體類

實體類有兩個,一個是前端的請求參數實體,一個是服務端應該返回的響應結果實體。

1)請求參數

前端請求的json結構如下:

{
    "key": "搜索關鍵字",
    "page": 1,
    "size": 3,
    "sortBy": "default"
}

因此,我們在cn.itcast.hotel.pojo包下定義一個實體類:

package cn.itcast.hotel.pojo;

import lombok.Data;

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
}

2)返回值

分頁查詢,需要返回分頁結果PageResult,包含兩個屬性:

  • total:總條數
  • List<HotelDoc>:當前頁的數據

因此,我們在cn.itcast.hotel.pojo中定義返回結果:

package cn.itcast.hotel.pojo;

import lombok.Data;

import java.util.List;

@Data
public class PageResult {
    private Long total;
    private List<HotelDoc> hotels;

    public PageResult() {
    }

    public PageResult(Long total, List<HotelDoc> hotels) {
        this.total = total;
        this.hotels = hotels;
    }
}

4.1.3.定義controller

定義一個HotelController,聲明查詢接口,滿足下列要求:

  • 請求方式:Post
  • 請求路徑:/hotel/list
  • 請求參數:對象,類型為RequestParam
  • 返回值:PageResult,包含兩個屬性
    • Long total:總條數
    • List<HotelDoc> hotels:酒店數據

因此,我們在cn.itcast.hotel.web中定義HotelController:

@RestController
@RequestMapping("/hotel")
public class HotelController {

    @Autowired
    private IHotelService hotelService;
	// 搜索酒店數據
    @PostMapping("/list")
    public PageResult search(@RequestBody RequestParams params){
        return hotelService.search(params);
    }
}

4.1.4.實現搜索業(yè)務

我們在controller調用了IHotelService,并沒有實現該方法,因此下面我們就在IHotelService中定義方法,并且去實現業(yè)務邏輯。

1)在cn.itcast.hotel.service中的IHotelService接口中定義一個方法:

/**
 * 根據關鍵字搜索酒店信息
 * @param params 請求參數對象,包含用戶輸入的關鍵字 
 * @return 酒店文檔列表
 */
PageResult search(RequestParams params);

2)實現搜索業(yè)務,肯定離不開RestHighLevelClient,我們需要把它注冊到Spring中作為一個Bean。在cn.itcast.hotel中的HotelDemoApplication中聲明這個Bean:

@Bean
public RestHighLevelClient client(){
    return  new RestHighLevelClient(RestClient.builder(
        HttpHost.create("http://192.168.150.101:9200")
    ));
}

3)在cn.itcast.hotel.service.impl中的HotelService中實現search方法:

@Override
public PageResult search(RequestParams params) {
    try {
        // 1.準備Request
        SearchRequest request = new SearchRequest("hotel");
        // 2.準備DSL
        // 2.1.query
        String key = params.getKey();
        if (key == null || "".equals(key)) {
            boolQuery.must(QueryBuilders.matchAllQuery());
        } else {
            boolQuery.must(QueryBuilders.matchQuery("all", key));
        }

        // 2.2.分頁
        int page = params.getPage();
        int size = params.getSize();
        request.source().from((page - 1) * size).size(size);

        // 3.發(fā)送請求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析響應
        return handleResponse(response);
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}

// 結果解析
private PageResult handleResponse(SearchResponse response) {
    // 4.解析響應
    SearchHits searchHits = response.getHits();
    // 4.1.獲取總條數
    long total = searchHits.getTotalHits().value;
    // 4.2.文檔數組
    SearchHit[] hits = searchHits.getHits();
    // 4.3.遍歷
    List<HotelDoc> hotels = new ArrayList<>();
    for (SearchHit hit : hits) {
        // 獲取文檔source
        String json = hit.getSourceAsString();
        // 反序列化
        HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
		// 放入集合
        hotels.add(hotelDoc);
    }
    // 4.4.封裝返回
    return new PageResult(total, hotels);
}

4.2.酒店結果過濾

需求:添加品牌、城市、星級、價格等過濾功能

4.2.1.需求分析

在頁面搜索框下面,會有一些過濾項:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-zcF7FwV7-1682371592816)(https://s2.loli.net/2023/04/19/tADZhPY7JB6U5Sj.png)]

傳遞的參數如圖:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-OFgEX2Vs-1682371592816)(https://s2.loli.net/2023/04/19/372bXVkJsR1lGQ9.png)]

包含的過濾條件有:

  • brand:品牌值
  • city:城市
  • minPrice~maxPrice:價格范圍
  • starName:星級

我們需要做兩件事情:

  • 修改請求參數的對象RequestParams,接收上述參數
  • 修改業(yè)務邏輯,在搜索條件之外,添加一些過濾條件

4.2.2.修改實體類

修改在cn.itcast.hotel.pojo包下的實體類RequestParams:

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
    // 下面是新增的過濾條件參數
    private String city;
    private String brand;
    private String starName;
    private Integer minPrice;
    private Integer maxPrice;
}

4.2.3.修改搜索業(yè)務

在HotelService的search方法中,只有一個地方需要修改:requet.source().query( … )其中的查詢條件。

在之前的業(yè)務中,只有match查詢,根據關鍵字搜索,現在要添加條件過濾,包括:

  • 品牌過濾:是keyword類型,用term查詢
  • 星級過濾:是keyword類型,用term查詢
  • 價格過濾:是數值類型,用range查詢
  • 城市過濾:是keyword類型,用term查詢

多個查詢條件組合,肯定是boolean查詢來組合:

  • 關鍵字搜索放到must中,參與算分
  • 其它過濾條件放到filter中,不參與算分

因為條件構建的邏輯比較復雜,這里先封裝為一個函數:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-RnGR8amk-1682371592817)(https://s2.loli.net/2023/04/19/AWDbz1rJZEnMYFV.png)]

buildBasicQuery的代碼如下:

private void buildBasicQuery(RequestParams params, SearchRequest request) {
    // 1.構建BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 2.關鍵字搜索
    String key = params.getKey();
    if (key == null || "".equals(key)) {
        boolQuery.must(QueryBuilders.matchAllQuery());
    } else {
        boolQuery.must(QueryBuilders.matchQuery("all", key));
    }
    // 3.城市條件
    if (params.getCity() != null && !params.getCity().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));
    }
    // 4.品牌條件
    if (params.getBrand() != null && !params.getBrand().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));
    }
    // 5.星級條件
    if (params.getStarName() != null && !params.getStarName().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));
    }
	// 6.價格
    if (params.getMinPrice() != null && params.getMaxPrice() != null) {
        boolQuery.filter(QueryBuilders
                         .rangeQuery("price")
                         .gte(params.getMinPrice())
                         .lte(params.getMaxPrice())
                        );
    }
	// 7.放入source
    request.source().query(boolQuery);
}

4.3.我周邊的酒店

需求:我附近的酒店

4.3.1.需求分析

在酒店列表頁的右側,有一個小地圖,點擊地圖的定位按鈕,地圖會找到你所在的位置:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-72K8umjX-1682371592819)(https://s2.loli.net/2023/04/19/SPpevcK28tWkQb3.png)]

并且,在前端會發(fā)起查詢請求,將你的坐標發(fā)送到服務端:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-zvUkPB5l-1682371592820)(https://s2.loli.net/2023/04/19/BrusO31TPvqtWfg.png)]

我們要做的事情就是基于這個location坐標,然后按照距離對周圍酒店排序。實現思路如下:

  • 修改RequestParams參數,接收location字段
  • 修改search方法業(yè)務邏輯,如果location有值,添加根據geo_distance排序的功能

4.3.2.修改實體類

修改在cn.itcast.hotel.pojo包下的實體類RequestParams:

package cn.itcast.hotel.pojo;

import lombok.Data;

@Data
public class RequestParams {
    private String key;
    private Integer page;
    private Integer size;
    private String sortBy;
    private String city;
    private String brand;
    private String starName;
    private Integer minPrice;
    private Integer maxPrice;
    // 我當前的地理坐標
    private String location;
}

4.3.3.距離排序API

我們以前學習過排序功能,包括兩種:

  • 普通字段排序
  • 地理坐標排序

我們只講了普通字段排序對應的java寫法。地理坐標排序只學過DSL語法,如下:

GET /indexName/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "price": "asc"  
    },
    {
      "_geo_distance" : {
          "FIELD" : "緯度,經度",
          "order" : "asc",
          "unit" : "km"
      }
    }
  ]
}

對應的java代碼示例:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-jTazAaAh-1682371592820)(https://s2.loli.net/2023/04/19/QW9o2Dwcvl1ZSuL.png)]

4.3.4.添加距離排序

cn.itcast.hotel.service.implHotelServicesearch方法中,添加一個排序功能:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-oENlyB5U-1682371592821)(https://s2.loli.net/2023/04/19/WqiN4Da6rLGAmuo.png)]

完整代碼:

@Override
public PageResult search(RequestParams params) {
    try {
        // 1.準備Request
        SearchRequest request = new SearchRequest("hotel");
        // 2.準備DSL
        // 2.1.query
        buildBasicQuery(params, request);

        // 2.2.分頁
        int page = params.getPage();
        int size = params.getSize();
        request.source().from((page - 1) * size).size(size);

        // 2.3.排序
        String location = params.getLocation();
        if (location != null && !location.equals("")) {
            request.source().sort(SortBuilders
                                  .geoDistanceSort("location", new GeoPoint(location))
                                  .order(SortOrder.ASC)
                                  .unit(DistanceUnit.KILOMETERS)
                                 );
        }

        // 3.發(fā)送請求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4.解析響應
        return handleResponse(response);
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}

4.3.5.排序距離顯示

重啟服務后,測試我的酒店功能:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-BHZARiJD-1682371592822)(https://s2.loli.net/2023/04/19/gRBtIiWCTjh6xVD.png)]

發(fā)現確實可以實現對我附近酒店的排序,不過并沒有看到酒店到底距離我多遠,這該怎么辦?

排序完成后,頁面還要獲取我附近每個酒店的具體距離值,這個值在響應結果中是獨立的:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-ZspAPlGz-1682371592822)(https://s2.loli.net/2023/04/19/k2KD3nuYp7hSOIq.png)]

因此,我們在結果解析階段,除了解析source部分以外,還要得到sort部分,也就是排序的距離,然后放到響應結果中。

我們要做兩件事:

  • 修改HotelDoc,添加排序距離字段,用于頁面顯示
  • 修改HotelService類中的handleResponse方法,添加對sort值的獲取

1)修改HotelDoc類,添加距離字段

package cn.itcast.hotel.pojo;

import lombok.Data;
import lombok.NoArgsConstructor;


@Data
@NoArgsConstructor
public class HotelDoc {
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String location;
    private String pic;
    // 排序時的 距離值
    private Object distance;

    public HotelDoc(Hotel hotel) {
        this.id = hotel.getId();
        this.name = hotel.getName();
        this.address = hotel.getAddress();
        this.price = hotel.getPrice();
        this.score = hotel.getScore();
        this.brand = hotel.getBrand();
        this.city = hotel.getCity();
        this.starName = hotel.getStarName();
        this.business = hotel.getBusiness();
        this.location = hotel.getLatitude() + ", " + hotel.getLongitude();
        this.pic = hotel.getPic();
    }
}

2)修改HotelService中的handleResponse方法

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-tffFemaS-1682371592823)(https://s2.loli.net/2023/04/19/nbxaE93Y1lFyIrK.png)]

重啟后測試,發(fā)現頁面能成功顯示距離了:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-cfGgm2KZ-1682371592823)(https://s2.loli.net/2023/04/19/3SZ2IQrWFewtzLh.png)]

4.4.酒店競價排名

需求:讓指定的酒店在搜索結果中排名置頂

4.4.1.需求分析

要讓指定酒店在搜索結果中排名置頂,效果如圖:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-EUpoNN9s-1682371592824)(https://s2.loli.net/2023/04/19/aK6XlU4wGnJcTu8.png)]

頁面會給指定的酒店添加廣告標記。

那怎樣才能讓指定的酒店排名置頂呢?

我們之前學習過的function_score查詢可以影響算分,算分高了,自然排名也就高了。而function_score包含3個要素:

  • 過濾條件:哪些文檔要加分
  • 算分函數:如何計算function score
  • 加權方式:function score 與 query score如何運算

這里的需求是:讓指定酒店排名靠前。因此我們需要給這些酒店添加一個標記,這樣在過濾條件中就可以根據這個標記來判斷,是否要提高算分。

比如,我們給酒店添加一個字段:isAD,Boolean類型:

  • true:是廣告
  • false:不是廣告

這樣function_score包含3個要素就很好確定了:

  • 過濾條件:判斷isAD 是否為true
  • 算分函數:我們可以用最簡單暴力的weight,固定加權值
  • 加權方式:可以用默認的相乘,大大提高算分

因此,業(yè)務的實現步驟包括:

  1. 給HotelDoc類添加isAD字段,Boolean類型

  2. 挑選幾個你喜歡的酒店,給它的文檔數據添加isAD字段,值為true

  3. 修改search方法,添加function score功能,給isAD值為true的酒店增加權重

4.4.2.修改HotelDoc實體

cn.itcast.hotel.pojo包下的HotelDoc類添加isAD字段:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-rrgVSEFi-1682371592825)(https://s2.loli.net/2023/04/19/ryWaIPm658jJDnq.png)]

4.4.3.添加廣告標記

接下來,我們挑幾個酒店,添加isAD字段,設置為true:

POST /hotel/_update/1902197537
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/2056126831
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/1989806195
{
    "doc": {
        "isAD": true
    }
}
POST /hotel/_update/2056105938
{
    "doc": {
        "isAD": true
    }
}

4.4.4.添加算分函數查詢

接下來我們就要修改查詢條件了。之前是用的boolean 查詢,現在要改成function_socre查詢。

function_score查詢結構如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Gr6Ydd9I-1682371592825)(https://s2.loli.net/2023/04/19/8wTKdoIAr7PGZgN.png)]

對應的JavaAPI如下:

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-rC1PqRqX-1682371592826)(https://s2.loli.net/2023/04/19/NAVlHUv8SC3uMP7.png)]

我們可以將之前寫的boolean查詢作為原始查詢條件放到query中,接下來就是添加過濾條件、算分函數加權模式了。所以原來的代碼依然可以沿用。

修改cn.itcast.hotel.service.impl包下的HotelService類中的buildBasicQuery方法,添加算分函數查詢:文章來源地址http://www.zghlxwxcb.cn/news/detail-428702.html

private void buildBasicQuery(RequestParams params, SearchRequest request) {
    // 1.構建BooleanQuery
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    // 關鍵字搜索
    String key = params.getKey();
    if (key == null || "".equals(key)) {
        boolQuery.must(QueryBuilders.matchAllQuery());
    } else {
        boolQuery.must(QueryBuilders.matchQuery("all", key));
    }
    // 城市條件
    if (params.getCity() != null && !params.getCity().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("city", params.getCity()));
    }
    // 品牌條件
    if (params.getBrand() != null && !params.getBrand().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("brand", params.getBrand()));
    }
    // 星級條件
    if (params.getStarName() != null && !params.getStarName().equals("")) {
        boolQuery.filter(QueryBuilders.termQuery("starName", params.getStarName()));
    }
    // 價格
    if (params.getMinPrice() != null && params.getMaxPrice() != null) {
        boolQuery.filter(QueryBuilders
                         .rangeQuery("price")
                         .gte(params.getMinPrice())
                         .lte(params.getMaxPrice())
                        );
    }

    // 2.算分控制
    FunctionScoreQueryBuilder functionScoreQuery =
        QueryBuilders.functionScoreQuery(
        // 原始查詢,相關性算分的查詢
        boolQuery,
        // function score的數組
        new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{
            // 其中的一個function score 元素
            new FunctionScoreQueryBuilder.FilterFunctionBuilder(
                // 過濾條件
                QueryBuilders.termQuery("isAD", true),
                // 算分函數
                ScoreFunctionBuilders.weightFactorFunction(10)
            )
        });
    request.source().query(functionScoreQuery);
}

到了這里,關于【分布式搜索引擎02】的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • 分布式搜索引擎ElasticSearch的RestClient查詢文檔
  • elasticsearch(ES)分布式搜索引擎03——(RestClient查詢文檔,ES旅游案例實戰(zhàn))

    elasticsearch(ES)分布式搜索引擎03——(RestClient查詢文檔,ES旅游案例實戰(zhàn))

    文檔的查詢同樣適用昨天學習的 RestHighLevelClient對象,基本步驟包括: 1)準備Request對象 2)準備請求參數 3)發(fā)起請求 4)解析響應 我們以match_all查詢?yōu)槔?3.1.1.發(fā)起查詢請求 代碼解讀: 第一步,創(chuàng)建 SearchRequest 對象,指定索引庫名 第二步,利用 request.source() 構建DSL,DSL中可

    2024年02月07日
    瀏覽(26)
  • 第七章-分布式搜索引擎-ES:全文查詢、分詞查詢、精確查詢、地理坐標查詢、組合查詢(bool、funtion_score)以及RestApi

    第七章-分布式搜索引擎-ES:全文查詢、分詞查詢、精確查詢、地理坐標查詢、組合查詢(bool、funtion_score)以及RestApi

    DSL查詢分類 全文查詢、分詞查詢、非分詞查詢、地理坐標查詢、組合查詢 match_all 查詢所有,不需要查詢條件,固定寫法_search 第一個hits就是命中的數據?,total就是條數,第二個hits是source嘞 ? 全文檢索查詢 我們不要整多個字段查詢,參與的字段越多,查詢速度越慢,如果有

    2024年01月16日
    瀏覽(33)
  • 分布式搜索引擎

    分布式搜索引擎

    elasticsearch的查詢依然是基于JSON風格的DSL來實現的。 Elasticsearch提供了基于JSON的DSL(Domain Specific Language)來定義查詢。常見的查詢類型包括: 查詢所有 :查詢出所有數據,一般測試用。例如:match_all 全文檢索(full text)查詢 :利用分詞器對用戶輸入內容分詞,然后去倒排索

    2024年02月10日
    瀏覽(25)
  • 分布式搜索引擎——elasticsearch搜索功能

    分布式搜索引擎——elasticsearch搜索功能

    Elasticsearch提供了基于JSON的DSL (Domain Specific Language)來定義查詢。常見的查詢類型包括: 查詢所有:查詢出所有數據,一般測試用。例如:match_all 全文檢索(full text)查詢:利用分詞器對用戶輸入內容分詞,然后去倒排索引庫中匹配。例如: match_query multi_match_query 精確查詢:根據精確詞條

    2024年02月05日
    瀏覽(35)
  • 分布式搜索引擎ElasticSearch——搜索功能

    分布式搜索引擎ElasticSearch——搜索功能

    DSL查詢分類 DSL官方文檔 全文檢索查詢 精確查詢 地理查詢 復合查詢 Function Score Query function score query Boolean Query 排序 分頁 官方文檔 高亮 快速入門 match,term,range,bool查詢 排序和分頁 高亮顯示 就是在前面抽取的解析代碼中進一步添加關于高亮的解析部分,因為highlight和so

    2024年02月01日
    瀏覽(28)
  • 分布式搜索引擎--認識

    分布式搜索引擎--認識

    elasticsearch的作用 elasticsearch是一款非常強大的開源搜索引擎,具備非常多強大功能,可以幫助我們從海量數據中快速找到需要的內容 。 elasticsearch結合kibana、Logstash、Beats,也就是elastic stack(ELK)。被廣泛應用在日志數據分析、實時監(jiān)控等領域。 而elasticsearch是elastic stack的核

    2024年01月18日
    瀏覽(24)
  • 【分布式搜索引擎03】

    【分布式搜索引擎03】

    **聚合(aggregations)**可以讓我們極其方便的實現對數據的統(tǒng)計、分析、運算。例如: 什么品牌的手機最受歡迎? 這些手機的平均價格、最高價格、最低價格? 這些手機每月的銷售情況如何? 實現這些統(tǒng)計功能的比數據庫的sql要方便的多,而且查詢速度非??欤梢詫崿F近

    2024年02月05日
    瀏覽(39)
  • 【分布式搜索引擎elasticsearch】

    【分布式搜索引擎elasticsearch】

    什么是elasticsearch? 一個開源的分布式搜索引擎,可以用來實現搜索、日志統(tǒng)計、分析、系統(tǒng)監(jiān)控等功能 什么是elastic stack(ELK)? 是以elasticsearch為核心的技術棧,包括beats、Logstash、kibana、elasticsearch elasticsearch結合kibana、Logstash、Beats,也就是elastic stack(ELK)。被廣泛應用在

    2024年02月10日
    瀏覽(42)
  • 分布式搜索引擎----elasticsearch

    分布式搜索引擎----elasticsearch

    目錄 1、初識elasticsearch 1.1、什么是elasticsearch 1.2.ELK技術棧 2、正向索引和倒排索引 2.1、正向索引 2.2、倒排索引 2.3、正向索引和倒排索引的區(qū)別 3、elasticsearch中的概念理解 3.1、文檔和字段 3.2、索引和映射 3.3、mysql與elasticsearch ????????elasticsearch是一款非常強大的開源搜索

    2024年02月11日
    瀏覽(58)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包