欢迎投稿

今日深度:

Elasticsearch节点及存储规划建议,您可以根据业务需要进

Elasticsearch节点及存储规划建议,您可以根据业务需要进


Elasticsearch是分布式多节点形式的集群,每个节点均是有计算和存储两部分构成,如何根据业务的需求,选择合适的配置,我们根据实际运营经验,在此提供一些 ES 常见使用场景下,配置选择的建议。您可以根据业务需要进行参考,当然,最好的方法还是需要您在业务的实际使用过程中逐步去探索。

存储容量评估

ES 服务存储容量的主要因素如下:

  • 副本数量:副本有利于增加数据的可靠性,但同时会增加存储成本。默认和建议的副本数量为1,对于部分可以承受异常情况导致数据丢失的场景,可考虑设置副本数量为0。
  • 数据膨胀:除原始数据外,ES 需要存储索引、列存数据等,在应用编码压缩等技术后,一般膨胀10%。
  • 内部任务开销:ES 占用约**20%**的磁盘空间,用于 segment 合并、ES Translog、日志等。
  • 操作系统预留:Linux 操作系统默认为 root 用户预留5%的磁盘空间,用于关键流程处理、系统恢复、防止磁盘碎片化问题等。

因此,数据在 ES 中占用的实际空间可通过下面公式估算:

实际空间 = 源数据 × (1 + 副本数量) × (1 + 数据膨胀) / (1 - 内部任务开销) / (1 - 操作系统预留)
        ≈ 源数据 × (1 + 副本数量) × 1.45

为保证服务的稳定运行,建议至少预留15%的存储空间,因此建议申请的存储容量为:

存储容量 = 源数据 × (1 + 副本数量) × 1.45 × (1 + 预留空间)
        

www.htsjk.Com true http://www.htsjk.com/Elasticsearch/44213.html NewsArticle Elasticsearch节点及存储规划建议,您可以根据业务需要进 Elasticsearch是分布式多节点形式的集群,每个节点均是有计算和存储两部分构成,如何根据业务的需求,选择合适的配置,我们根...
评论暂时关闭