ELK 設置定時清理腳本清理索引
769
2025-04-01
elasticsearch 產(chǎn)生背景
海量數(shù)據(jù)組合條件查詢
毫秒級或者秒級返回數(shù)據(jù)
Lucene 定義
lucene是一個開放源代碼的全文檢索引擎工具包,但它不是一個完整的全文檢索引擎,而是一個全文檢索引擎的架構(gòu),提供了完整的查詢引擎和索引引擎,部分文本分析引擎。
elasticsearch 定義:
ElasticSearch是一個基于Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java開發(fā)的,并作為Apache許可條款下的開放源碼發(fā)布,是當前流行的企業(yè)級搜索引擎。設計用于云計算中,能夠達到實時搜索,穩(wěn)定,可靠,快速,安裝使用方便。
ElasticSearch vs Lucene
成品與半成品的關系
Lucene專注于搜索底層的建設,而ElasticSearch專注于企業(yè)應用。
ElasticSearch vs Solr
Solr 定義:
Solr是Apache 下的一個開源項目,使用Java基于Lucene開發(fā)的全文檢索服務是一個獨立的企業(yè)級搜索應用服務器,它對外提供類似于Web-service的API接口。用戶可以通過http請求,向搜索引擎服務器提交一定格式的XML文件,生成索引;也可以通過Http Get操作提出查找請求,并得到XML格式的返回結(jié)果。
ElasticSearch vs Solr 優(yōu)缺點
ElasticSearch vs Solr 檢索速度
當單純的對已有數(shù)據(jù)進行搜索時,Solr更快。
當實時建立索引時, Solr會產(chǎn)生io阻塞,查詢性能較差, Elasticsearch具有明顯的優(yōu)勢。
隨著數(shù)據(jù)量的增加,Solr的搜索效率會變得更低,而Elasticsearch卻沒有明顯的變化。
大型互聯(lián)網(wǎng)公司,實際生產(chǎn)環(huán)境測試,將搜索引擎從Solr轉(zhuǎn)到Elasticsearch以后的平均查詢速度有了50倍的提升。
ElasticSearch vs Solr 總結(jié)
二者安裝都很簡單。
Solr 利用 Zookeeper 進行分布式管理,而 Elasticsearch 自身帶有分布式協(xié)調(diào)管理功能。
Solr 支持更多格式的數(shù)據(jù),比如JSON、XML、CSV,而 Elasticsearch 僅支持json文件格式。
Solr 官方提供的功能更多,而 Elasticsearch 本身更注重于核心功能,高級功能多有第三方插件提供
Solr 在傳統(tǒng)的搜索應用中表現(xiàn)好于 Elasticsearch,但在處理實時搜索應用時效率明顯低于 Elasticsearch。
Solr 是傳統(tǒng)搜索應用的有力解決方案,但 Elasticsearch 更適用于新興的實時搜索應用。
ElasticSearch vs 關系型數(shù)據(jù)庫
ElasticSearch 架構(gòu)
ElasticSearch 工作原理
ElasticSearch 在Hadoop生態(tài)圈的位置
ElasticSearch 應用場景
1.站內(nèi)搜索:主要和 Solr 競爭,屬于后起之秀
2.NoSQL Json文檔數(shù)據(jù)庫:主要搶占 Mongo 的市場,它在讀寫性能上優(yōu)于 Mongo ,同時也支持地理位置查詢,還方便地理位置和文本混合查詢。
3.監(jiān)控:統(tǒng)計、日志類時間序的數(shù)據(jù)存儲和分析、可視化,這方面是引領者
4.國外:Wikipedia(維基百科)使用ES提供全文搜索并高亮關鍵字、StackOverflow(IT問答網(wǎng)站)結(jié)合全文搜索與地理位置查詢、Github使用Elasticsearch檢索1300億行的代碼
5.國內(nèi):百度(在云分析、網(wǎng)盟、預測、文庫、錢包、風控等業(yè)務上都應用了ES,單集群每天導入30TB+數(shù)據(jù),總共每天60TB+)、新浪 、阿里巴巴、騰訊等公司均有對ES的使用
6.使用比較廣泛的平臺ELK(ElasticSearch, Logstash, Kibana)
全文檢索 Elasticsearch 華為開源鏡像站 Mirrors
版權聲明:本文內(nèi)容由網(wǎng)絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權內(nèi)容。
版權聲明:本文內(nèi)容由網(wǎng)絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權內(nèi)容。