Elasticsearch索引的架构设计.docx

Elasticsearch 索引的架构设计
白鸽学吧
目录
1、 Elasticsearch 索弓丨的设计 3
注意 1 :不要在一个索引中定义多个 type。 6
注意 2 :将 Set _source 设置为 false。 6
注意 3 :将 _all设置为 false。 7
注意 4 :设置 dynamic = strict 。 7
注意 5 :使用 keyword 类型 8
注意6 :使用别名 9
2、 Elasticsearch 分片分配原贝V 10
步骤1 ：定义索引 11
步骤2 :评估数据量 11
步骤 3 :评估索引大小和磁盘空间 12
步骤4 :计算分片数 12
步骤5 :评估索引数和类型 12
3、 数据去重的思考 12
1、Elasticsearch 索引的设计
？
冒 怡9 a H
■
One Index ； Timbasg駆諜5匚丁
■
■
单一索引的问题：
）不能更新 Mapp ing 。
比如：主分片数不可以修改（除非 reindex ）。
）无法灵活、快速地扩展。
3）更适合固定、小型数据集。
基于时间的索引面临的问题：
1） 如何确定间隔？
*数据量
« 变更频率
・默认尝试每周为单位分割一一建议
2） 如何实施？
*索引模板

举例:
"{i ndex}-query":{
}
},
"mappi ngs":{
"es_doc":{
"d yn amic":"strict",
"_all":{
"e nabled":false
},
"_source":{
"e nabled":false
},
"properties"^
"CLF_Timestamp":{
"type":"lo ng"
},
"CLF_CustomerlD":{ "type":"keyword"
},
"CLF_Clie ntIP":{
"type":"ip",
注意1 :不要在一个索引中定义多个 type
， 。
扩展问题： type，到了
式改变为：join 方式。
注意 2 :将 Set _source 设置为 false。
假设你只关心度量结果，不是原始文件内容。
将节省磁盘空间并减少 10。
鸽学■巴
这个点，需要结合实际的业务场景具体问题具体分析
举例：
"_source":{
"en abled":false
},
注意 3 :将_all设置为 false。
假设你确切地知道你对哪个 field做查询操作？
能实现性能提升，缩减存储。
举例：
"_all":{
"en abled":false },
注意 4 :设置 dynamic = strict 。
假设你的数据是结构化数据
字段设置严格，避免脏数据注入
举例：
"dyn amic":"strict",
注意5 :使用keyword 类型
假设你只关心完全匹配
提高性能和缩小磁盘存储空间
举例:
"CLF_CustomerlD":{
"type":"keyword"
},
注意6 :使用别名
如何在不停机的前提从一个索引切换到另一个索引?
In dex Index
(ce-irdex-vl-access-15240yb<J00} (ce-index-v 1 -access-1524Uye(XJ0-h)
Alias
= —r JI —— F-■
(ce- in dex*v 1 -a ccess -1524096000-q u e ry) 、二刊戎y「
举例：
"aliases":{
"{i ndex}-query":{
}
或者你通过head插件创建。
2、Elasticsearch 分片分配原则
社区和QQ群中经常被问到的问题:
1） 应该分几个索引、几个分片?
2） 每个分片大小如何设置？
3） 副本多少如何设置？
这里，明确给出实操可行的 6个步骤
Estimaie index and Disk Space
liWtex Ealimale Data Amo uni
Calculate Srwr<j Nimber
E^timaEe InsUnce Number andi Tyg
PwlwnwiDS lest In-starcea