白話Elasticsearch17-深度探秘搜索技術(shù)之match_phrase query 短語匹配搜索

文章目錄

概述

官網(wǎng)

近似匹配

例子

match query

match phrase query

term position

match_phrase的基本原理

概述

繼續(xù)跟中華石杉老師學(xué)習(xí)ES，第17篇

課程地址： https://www.roncoo.com/view/55

官網(wǎng)

https://www.elastic.co/guide/en/elasticsearch/reference/current/full-text-queries.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-match-query-phrase.html

近似匹配

假設(shè)content字段中有2個語句

java is my favourite programming language, and I also think spark is a very good big data system. java spark are very related, because scala is spark's programming language and scala is also based on jvm like java.

1

2

3

4

使用match query , 搜索java spark ,DSL 大致如下

{ "match": { "content": "java spark" } }

1

2

3

4

5

content 被拆分為兩個單詞 java 和 spark去匹配，所以如上兩個doc都能被查詢出來。

match query，只能搜索到包含java和spark的document，但是不知道java和spark是不是離的很近. 包含java或包含spark，或包含java和spark的doc，都會被查詢出來。我們其實并不知道哪個doc，java和spark距離的比較近。

如果我們希望搜索java spark，中間不能插入任何其他的字符， 這個時候match就無能為力了 。

再比如 ， 如果我們要盡量讓java和spark離的很近的document優(yōu)先返回，要給它一個更高的relevance score，這就涉及到了proximity match，近似匹配.

例子

假設(shè)要實現(xiàn)兩個需求：

java spark，就靠在一起，中間不能插入任何其他字符，就要搜索出來這種doc

java spark，但是要求，java和spark兩個單詞靠的越近，doc的分?jǐn)?shù)越高，排名越靠前

要實現(xiàn)上述兩個需求，用match做全文檢索，是搞不定的，必須得用proximity match，近似匹配

phrase match：短語匹配

proximity match：近似匹配

這里我們要學(xué)習(xí)的是phrase match，就是僅僅搜索出java和spark靠在一起的那些doc，比如有個doc，是java use’d spark，不行。必須是比如java spark are very good friends，是可以搜索出來的。

match phrase query，就是要去將多個term作為一個短語，一起去搜索，只有包含這個短語的doc才會作為結(jié)果返回。

不像是match query，java spark，java的doc也會返回，spark的doc也會返回。

match query

為了做比對，我們先看下match query的查詢結(jié)果

GET /forum/article/_search { "query": { "match": { "content": "java spark" } } }

1

2

3

4

5

6

7

8

9

10

返回結(jié)果

{ "took": 40, "timed_out": false, "_shards": { "total": 1, "successful": 1, "skipped": 0, "failed": 0 }, "hits": { "total": 2, "max_score": 1.8166281, "hits": [ { "_index": "forum", "_type": "article", "_id": "5", "_score": 1.8166281, "_source": { "articleID": "DHJK-B-1395-#Ky5", "userID": 3, "hidden": false, "postDate": "2019-05-01", "tag": [ "elasticsearch" ], "tag_cnt": 1, "view_cnt": 10, "title": "this is spark blog", "content": "spark is best big data solution based on scala ,an programming language similar to java spark", "sub_title": "haha, hello world", "author_first_name": "Tonny", "author_last_name": "Peter Smith", "new_author_last_name": "Peter Smith", "new_author_first_name": "Tonny" } }, { "_index": "forum", "_type": "article", "_id": "2", "_score": 0.7721133, "_source": { "articleID": "KDKE-B-9947-#kL5", "userID": 1, "hidden": false, "postDate": "2017-01-02", "tag": [ "java" ], "tag_cnt": 1, "view_cnt": 50, "title": "this is java blog", "content": "i think java is the best programming language", "sub_title": "learned a lot of course", "author_first_name": "Smith", "author_last_name": "Williams", "new_author_last_name": "Williams", "new_author_first_name": "Smith" } } ] } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

可以看到單單包含java的doc也返回了，不是我們想要的結(jié)果 。

match phrase query

為了演示match phrase query的功能，我們先調(diào)整一下測試數(shù)據(jù)

POST /forum/article/5/_update { "doc": { "content":"spark is best big data solution based on scala ,an programming language similar to java spark" } }

1

2

3

4

5

6

7

8

將id=5的doc的content設(shè)置為恰巧包含java spark這個短語 。

GET /forum/article/_search { "query": { "match_phrase": { "content": "java spark" } } }

1

2

3

4

5

6

7

8

返回結(jié)果

{ "took": 47, "timed_out": false, "_shards": { "total": 1, "successful": 1, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 1.4302213, "hits": [ { "_index": "forum", "_type": "article", "_id": "5", "_score": 1.4302213, "_source": { "articleID": "DHJK-B-1395-#Ky5", "userID": 3, "hidden": false, "postDate": "2019-05-01", "tag": [ "elasticsearch" ], "tag_cnt": 1, "view_cnt": 10, "title": "this is spark blog", "content": "spark is best big data solution based on scala ,an programming language similar to java spark", "sub_title": "haha, hello world", "author_first_name": "Tonny", "author_last_name": "Peter Smith", "new_author_last_name": "Peter Smith", "new_author_first_name": "Tonny" } } ] } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

從結(jié)果中可以看到只有包含java spark這個短語的doc才返回，只包含java的doc不會返回

term position

分詞后，每個單詞就是一個term

分詞后 ， es還記錄了 每個field的位置。

舉個例子 兩個doc 如下：

hello world, java spark doc1

hi, spark java doc2

建立倒排索引后

可以通過如下API來看下

GET _analyze { "text": "hello world, java spark", "analyzer": "standard" }

1

2

3

4

5

返回：

{ "tokens": [ { "token": "hello", "start_offset": 0, "end_offset": 5, "type": "", "position": 0 }, { "token": "world", "start_offset": 6, "end_offset": 11, "type": "", "position": 1 }, { "token": "java", "start_offset": 13, "end_offset": 17, "type": "", "position": 2 }, { "token": "spark", "start_offset": 18, "end_offset": 23, "type": "", "position": 3 } ] }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

通過position 可以看到位置信息 。

match_phrase的基本原理

理解下索引中的position，match_phrase

兩個doc 如下

hello world, java spark doc1 hi, spark java doc2

1

2

java spark , 采用match phrase來查詢

首先 java spark 被拆成 java和spark ，分別取索引中查找

java 出現(xiàn)在 doc1(2) doc2(2) spark 出現(xiàn)在 doc1(3) doc2(1)

1

2

要找到每個term都在的一個共有的那些doc，就是要求一個doc，必須包含每個term，才能拿出來繼續(xù)計算

doc1 --> java和spark --> spark position恰巧比java大1 --> java的position是2，spark的position是3，恰好滿足條件

doc1符合條件

doc2 --> java和spark --> java position是2，spark position是1，spark position比java position小1，而不是大1 --> 光是position就不滿足，那么doc2不匹配 .

Elasticsearch Java 實時流計算服務(wù) CS

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。