ES-DSL查詢語(yǔ)法（全文檢索、精準(zhǔn)查詢、地理坐標(biāo)查詢）

1.DSL查詢文檔

elasticsearch 的查詢依然是基于 JSON 風(fēng)格的 DSL 來(lái)實(shí)現(xiàn)的。

1.1.DSL 查詢分類

Elasticsearch 提供了基于 JSON 的 DSL（Domain Specific Language）來(lái)定義查詢。常見(jiàn)的查詢類型包括：

• 查詢所有：查詢出所有數(shù)據(jù)，一般測(cè)試用。例如：match_all

• 全文檢索（full text）查詢：利用分詞器對(duì)用戶輸入內(nèi)容分詞，然后去倒排索引庫(kù)中匹配。例如：

  • match_query
  • multi_match_query

• 精確查詢：根據(jù)精確詞條值查找數(shù)據(jù)，一般是查找 keyword、數(shù)值、日期、boolean 等類型字段。例如：

  • ids
  • range
  • term

• 地理（geo）查詢：根據(jù)經(jīng)緯度查詢。例如：

  • geo_distance
  • geo_bounding_box

• 復(fù)合（compound）查詢：復(fù)合查詢可以將上述各種查詢條件組合起來(lái)，合并查詢條件。例如：

  • bool
  • function_score

查詢的語(yǔ)法基本一致：

GET /indexName(索引庫(kù)名稱)/_search
{
  "query": {
    "查詢類型": {
      "查詢條件": "條件值"
    }
  }
}

我們以查詢所有為例，其中：

• 查詢類型為 match_all
• 沒(méi)有查詢條件

// 查詢所有
GET /heima/_search
{
  "query": {
    "match_all": {
    }
  }
}

其它查詢無(wú)非就是查詢類型、查詢條件的變化。

1.2. 全文檢索查詢

1.2.1. 使用場(chǎng)景

全文檢索查詢的基本流程如下：

• 對(duì)用戶搜索的內(nèi)容做分詞，得到詞條
• 根據(jù)詞條去倒排索引庫(kù)中匹配，得到文檔 id
• 根據(jù)文檔 id 找到文檔，返回給用戶

比較常用的場(chǎng)景包括：

• 商城的輸入框搜索
• 百度輸入框搜索

例如京東：

因?yàn)槭悄弥~條去匹配，因此參與搜索的字段也必須是可分詞的 text 類型的字段。

1.2.2. 基本語(yǔ)法

常見(jiàn)的全文檢索查詢包括：

• match 查詢：?jiǎn)巫侄尾樵?/li>
• multi_match 查詢：多字段查詢，任意一個(gè)字段符合條件就算符合查詢條件

match 查詢語(yǔ)法如下：

GET /indexName/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT"
    }
  }
}

mulit_match 語(yǔ)法如下：

GET /indexName/_search
{
  "query": {
    "multi_match": {
      "query": "TEXT",
      "fields": ["FIELD1", " FIELD12"]
    }
  }
}

1.2.3. 示例

match 查詢示例：

multi_match 查詢示例：

可以看到，兩種查詢結(jié)果是一樣的，為什么？

因?yàn)槲覀儗?brand、name、business 值都利用 copy_to 復(fù)制到了 all 字段中。因此你根據(jù)三個(gè)字段搜索，和根據(jù) all 字段搜索效果當(dāng)然一樣了。

但是，搜索字段越多，對(duì)查詢性能影響越大，因此建議采用 copy_to，然后單字段查詢的方式。

1.2.4. 總結(jié)

match 和 multi_match 的區(qū)別是什么？

• match：根據(jù)一個(gè)字段查詢
• multi_match：根據(jù)多個(gè)字段查詢，參與查詢字段越多，查詢性能越差

1.3. 精準(zhǔn)查詢

精確查詢一般是查找 keyword、數(shù)值、日期、boolean 等類型字段。所以不會(huì)對(duì)搜索條件分詞。常見(jiàn)的有：

• term：根據(jù)詞條精確值查詢
• range：根據(jù)值的范圍查詢

1.3.1.term 查詢

因?yàn)榫_查詢的字段搜是不分詞的字段，因此查詢的條件也必須是不分詞的詞條。查詢時(shí)，用戶輸入的內(nèi)容跟自動(dòng)值完全匹配時(shí)才認(rèn)為符合條件。如果用戶輸入的內(nèi)容過(guò)多，反而搜索不到數(shù)據(jù)。

語(yǔ)法說(shuō)明：

// term查詢
GET /indexName/_search
{
  "query": {
    "term": {
      "FIELD": {
        "value": "VALUE"
      }
    }
  }
}

示例：

當(dāng)我搜索的是精確詞條時(shí)，能正確查詢出結(jié)果：

但是，當(dāng)我搜索的內(nèi)容不是詞條，而是多個(gè)詞語(yǔ)形成的短語(yǔ)時(shí)，反而搜索不到：

1.3.2.range 查詢

范圍查詢，一般應(yīng)用在對(duì)數(shù)值類型做范圍過(guò)濾的時(shí)候。比如做價(jià)格范圍過(guò)濾。

基本語(yǔ)法：

// range查詢
GET /indexName/_search
{
  "query": {
    "range": {
      "FIELD": {
        "gte": 10, // 這里的gte代表大于等于，gt則代表大于
        "lte": 20 // lte代表小于等于，lt則代表小于
      }
    }
  }
}

示例：

1.3.3. 總結(jié)

精確查詢常見(jiàn)的有哪些？

• term 查詢：根據(jù)詞條精確匹配，一般搜索 keyword 類型、數(shù)值類型、布爾類型、日期類型字段
• range 查詢：根據(jù)數(shù)值范圍查詢，可以是數(shù)值、日期的范圍

1.4. 地理坐標(biāo)查詢

所謂的地理坐標(biāo)查詢，其實(shí)就是根據(jù)經(jīng)緯度查詢，官方文檔：https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html

常見(jiàn)的使用場(chǎng)景包括：

• 攜程：搜索我附近的酒店
• 滴滴：搜索我附近的出租車
• 微信：搜索我附近的人

附近的酒店：

附近的車：

1.4.1. 矩形范圍查詢

矩形范圍查詢，也就是 geo_bounding_box 查詢，查詢坐標(biāo)落在某個(gè)矩形范圍的所有文檔：

查詢時(shí)，需要指定矩形的左上、右下兩個(gè)點(diǎn)的坐標(biāo)，然后畫(huà)出一個(gè)矩形，落在該矩形內(nèi)的都是符合條件的點(diǎn)。

語(yǔ)法如下：

// geo_bounding_box查詢
GET /indexName/_search
{
  "query": {
    "geo_bounding_box": {
      "FIELD": {
        "top_left": { // 左上點(diǎn)
          "lat": 31.1,
          "lon": 121.5
        },
        "bottom_right": { // 右下點(diǎn)
          "lat": 30.9,
          "lon": 121.7
        }
      }
    }
  }
}

這種并不符合 “附近的人” 這樣的需求，所以我們就不做了。

1.4.2. 附近查詢

附近查詢，也叫做距離查詢（geo_distance）：查詢到指定中心點(diǎn)小于某個(gè)距離值的所有文檔。

換句話來(lái)說(shuō)，在地圖上找一個(gè)點(diǎn)作為圓心，以指定距離為半徑，畫(huà)一個(gè)圓，落在圓內(nèi)的坐標(biāo)都算符合條件：

語(yǔ)法說(shuō)明：

// geo_distance 查詢
GET /indexName/_search
{
  "query": {
    "geo_distance": {
      "distance": "15km", // 半徑
      "FIELD": "31.21,121.5" // 圓心
    }
  }
}

示例：

我們先搜索陸家嘴附近 15km 的酒店：

發(fā)現(xiàn)共有 47 家酒店。

然后把半徑縮短到 3 公里：

1.5. 復(fù)合查詢

復(fù)合（compound）查詢：復(fù)合查詢可以將其它簡(jiǎn)單查詢組合起來(lái)，實(shí)現(xiàn)更復(fù)雜的搜索邏輯。常見(jiàn)的有兩種：

• fuction score：算分函數(shù)查詢，可以控制文檔相關(guān)性算分，控制文檔排名
• bool query：布爾查詢，利用邏輯關(guān)系組合多個(gè)其它的查詢，實(shí)現(xiàn)復(fù)雜搜索

1.5.1. 相關(guān)性算分

當(dāng)我們利用 match 查詢時(shí)，文檔結(jié)果會(huì)根據(jù)與搜索詞條的關(guān)聯(lián)度打分（_score），返回結(jié)果時(shí)按照分值降序排列。

例如，我們搜索 “虹橋如家”，結(jié)果如下：

[
  {
    "_score" : 17.850193,
    "_source" : {
      "name" : "虹橋如家酒店真不錯(cuò)",
    }
  },
  {
    "_score" : 12.259849,
    "_source" : {
      "name" : "外灘如家酒店真不錯(cuò)",
    }
  },
  {
    "_score" : 11.91091,
    "_source" : {
      "name" : "迪士尼如家酒店真不錯(cuò)",
    }
  }
]

在 elasticsearch 中，早期使用的打分算法是 TF-IDF 算法，公式如下：

在后來(lái)的 5.1 版本升級(jí)中，elasticsearch 將算法改進(jìn)為 BM25 算法，公式如下：

TF-IDF 算法有一各缺陷，就是詞條頻率越高，文檔得分也會(huì)越高，單個(gè)詞條對(duì)文檔影響較大。而 BM25 則會(huì)讓單個(gè)詞條的算分有一個(gè)上限，曲線更加平滑：

小結(jié)：elasticsearch 會(huì)根據(jù)詞條和文檔的相關(guān)度做打分，算法由兩種：

• TF-IDF 算法
• BM25 算法，elasticsearch5.1 版本后采用的算法

1.5.2. 算分函數(shù)查詢

根據(jù)相關(guān)度打分是比較合理的需求，但合理的不一定是產(chǎn)品經(jīng)理需要的。

以百度為例，你搜索的結(jié)果中，并不是相關(guān)度越高排名越靠前，而是誰(shuí)掏的錢多排名就越靠前。如圖：

要想認(rèn)為控制相關(guān)性算分，就需要利用 elasticsearch 中的 function score 查詢了。

1）語(yǔ)法說(shuō)明

function score 查詢中包含四部分內(nèi)容：

• 原始查詢條件：query 部分，基于這個(gè)條件搜索文檔，并且基于 BM25 算法給文檔打分，原始算分（query score)
• 過(guò)濾條件：filter 部分，符合該條件的文檔才會(huì)重新算分
• 算分函數(shù)：符合 filter 條件的文檔要根據(jù)這個(gè)函數(shù)做運(yùn)算，得到的函數(shù)算分（function score），有四種函數(shù)
  • weight：函數(shù)結(jié)果是常量
  • field_value_factor：以文檔中的某個(gè)字段值作為函數(shù)結(jié)果
  • random_score：以隨機(jī)數(shù)作為函數(shù)結(jié)果
  • script_score：自定義算分函數(shù)算法
• 運(yùn)算模式：算分函數(shù)的結(jié)果、原始查詢的相關(guān)性算分，兩者之間的運(yùn)算方式，包括：
  • multiply：相乘
  • replace：用 function score 替換 query score
  • 其它，例如：sum、avg、max、min

function score 的運(yùn)行流程如下：

• 1）根據(jù)原始條件查詢搜索文檔，并且計(jì)算相關(guān)性算分，稱為原始算分（query score）
• 2）根據(jù)過(guò)濾條件，過(guò)濾文檔
• 3）符合過(guò)濾條件的文檔，基于算分函數(shù)運(yùn)算，得到函數(shù)算分（function score）
• 4）將原始算分（query score）和函數(shù)算分（function score）基于運(yùn)算模式做運(yùn)算，得到最終結(jié)果，作為相關(guān)性算分。

因此，其中的關(guān)鍵點(diǎn)是：

• 過(guò)濾條件：決定哪些文檔的算分被修改
• 算分函數(shù)：決定函數(shù)算分的算法
• 運(yùn)算模式：決定最終算分結(jié)果

2）示例

需求：給 “如家” 這個(gè)品牌的酒店排名靠前一些

翻譯一下這個(gè)需求，轉(zhuǎn)換為之前說(shuō)的四個(gè)要點(diǎn)：

• 原始條件：不確定，可以任意變化
• 過(guò)濾條件：brand = “如家”
• 算分函數(shù)：可以簡(jiǎn)單粗暴，直接給固定的算分結(jié)果，weight
• 運(yùn)算模式：比如求和

因此最終的 DSL 語(yǔ)句如下：

GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {  .... }, // 原始查詢，可以是任意條件
      "functions": [ // 算分函數(shù)
        {
          "filter": { // 滿足的條件，品牌必須是如家
            "term": {
              "brand": "如家"
            }
          },
          "weight": 2 // 算分權(quán)重為2
        }
      ],
      "boost_mode": "sum" // 加權(quán)模式，求和
    }
  }
}

測(cè)試，在未添加算分函數(shù)時(shí)，如家得分如下：

添加了算分函數(shù)后，如家得分就提升了：

3）小結(jié)

function score query 定義的三要素是什么？

• 過(guò)濾條件：哪些文檔要加分
• 算分函數(shù)：如何計(jì)算 function score
• 加權(quán)方式：function score 與 query score 如何運(yùn)算

1.5.3. 布爾查詢

布爾查詢是一個(gè)或多個(gè)查詢子句的組合，每一個(gè)子句就是一個(gè)子查詢。子查詢的組合方式有：

• must：必須匹配每個(gè)子查詢，類似 “與”
• should：選擇性匹配子查詢，類似 “或”
• must_not：必須不匹配，不參與算分，類似 “非”
• filter：必須匹配，不參與算分

比如在搜索酒店時(shí)，除了關(guān)鍵字搜索外，我們還可能根據(jù)品牌、價(jià)格、城市等字段做過(guò)濾：

每一個(gè)不同的字段，其查詢的條件、方式都不一樣，必須是多個(gè)不同的查詢，而要組合這些查詢，就必須用 bool 查詢了。

需要注意的是，搜索時(shí)，參與打分的字段越多，查詢的性能也越差。因此這種多條件查詢時(shí)，建議這樣做：

• 搜索框的關(guān)鍵字搜索，是全文檢索查詢，使用 must 查詢，參與算分
• 其它過(guò)濾條件，采用 filter 查詢。不參與算分

1）語(yǔ)法示例：

GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"city": "上海" }}
      ],
      "should": [
        {"term": {"brand": "皇冠假日" }},
        {"term": {"brand": "華美達(dá)" }}
      ],
      "must_not": [
        { "range": { "price": { "lte": 500 } }}
      ],
      "filter": [
        { "range": {"score": { "gte": 45 } }}
      ]
    }
  }
}

2）示例

需求：搜索名字包含 “如家”，價(jià)格不高于 400，在坐標(biāo) 31.21,121.5 周圍 10km 范圍內(nèi)的酒店。

分析：

• 名稱搜索，屬于全文檢索查詢，應(yīng)該參與算分。放到 must 中
• 價(jià)格不高于 400，用 range 查詢，屬于過(guò)濾條件，不參與算分。放到 must_not 中
• 周圍 10km 范圍內(nèi)，用 geo_distance 查詢，屬于過(guò)濾條件，不參與算分。放到 filter 中

3）小結(jié)

bool 查詢有幾種邏輯關(guān)系？

• must：必須匹配的條件，可以理解為 “與”
• should：選擇性匹配的條件，可以理解為 “或”
• must_not：必須不匹配的條件，不參與打分
• filter：必須匹配的條件，不參與打分

參考鏈接：https://www.cnblogs.com/DeryKong/p/17002533.html文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-800474.html

到了這里，關(guān)于elasticsearch[二]-DSL查詢語(yǔ)法：全文檢索、精準(zhǔn)查詢(term/range)、地理坐標(biāo)查詢(矩陣、范圍)、復(fù)合查詢(相關(guān)性算法)、布爾查詢的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！