白話Elasticsearch50-深入聚合數(shù)據(jù)分析之doc values機(jī)制

文章目錄

概述

官網(wǎng)

doc value原理

（1）index-time生成

（2）核心原理與倒排索引類似

（3）性能問題：給jvm更少內(nèi)存，64g服務(wù)器，給jvm最多16g

column壓縮

（1）所有值相同，直接保留單值

（2）少于256個值，使用table encoding模式

（3）大于256個值，看有沒有最大公約數(shù)，有就除以最大公約數(shù)，然后保留這個最大公約數(shù)

disable doc value

概述

繼續(xù)跟中華石杉老師學(xué)習(xí)ES，第51篇

課程地址： https://www.roncoo.com/view/55

官網(wǎng)

doc_values： 戳這里

doc value原理

（1）index-time生成

PUT/POST的時候，就會生成doc value數(shù)據(jù)，也就是正排索引

（2）核心原理與倒排索引類似

正排索引，也會寫入磁盤文件中，然后呢，os cache先進(jìn)行緩存，以提升訪問doc value正排索引的性能

如果os cache內(nèi)存大小不足夠放得下整個正排索引，doc value，就會將doc value的數(shù)據(jù)寫入磁盤文件中。

（3）性能問題：給jvm更少內(nèi)存，64g服務(wù)器，給jvm最多16g

es官方是建議，es大量是基于os cache來進(jìn)行緩存和提升性能的，不建議用jvm內(nèi)存來進(jìn)行緩存，那樣會導(dǎo)致一定的gc開銷和oom問題。

給jvm更少的內(nèi)存，給os cache更大的內(nèi)存。

舉個例子：64g服務(wù)器，給jvm最多16g，剩下的幾十個g的內(nèi)存給os cache

os cache可以提升doc value和倒排索引的緩存和查詢效率

column壓縮

（1）所有值相同，直接保留單值

舉個例子

doc1: 100 doc2: 100 doc3: 200

1

2

3

4

5

合并相同值，100，doc1和doc2都保留一個100的標(biāo)識即可

（2）少于256個值，使用table encoding模式

了解即可， table encoding 一種壓縮方式

（3）大于256個值，看有沒有最大公約數(shù)，有就除以最大公約數(shù)，然后保留這個最大公約數(shù)

舉個例子

doc1: 36 doc2: 24

1

2

doc1: 最大公約數(shù)6, doc2: 最大公約數(shù)4 -----> 保留一個最大公約數(shù)6的標(biāo)識，6也保存起來

disable doc value

如果的確不需要doc value，那么可以禁用，減少磁盤空間占用

PUT my_index { "mappings": { "my_type": { "properties": { "my_field": { "type": "keyword" "doc_values": false } } } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

elasticsearch 數(shù)據(jù)挖掘

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。