欢迎投稿

今日深度:

elasticsearch调优,

elasticsearch调优,


博客原文
安利一篇我翻译的国外大牛的神经网络入门文章

这部分是从同事的wiki上扒下来的,记在这里,作为以后使用的参考

分片和副本调优

总结

副本多:

分片多:

副本最好设置为2份提高容错性和查询速度,分片设置为节点数量的2倍提高插入速度,如果是大批量导入不做查询的话可取消副本

Merge 吞吐量调优

系统默认是20mb,实际系统性能可能会更好,可适当调整

curl  -XPUT "http://<ip>:9200/_cluster/settings" -d
    '{
        "persistent":
        {
            "indices.store.throttle.type": "merge",
            "indices.store.throttle.max_bytes_per_sec": "200mb"
        }
    }'

刷新频率调优

大批量插入时,修改refresh_interval到-1(不刷新)或大于1s的时间,减少shard刷新间隔

curl -XPUT 'http://<ip>:9200/dw-search/_settings' -d '{ 
    "index" : { 
        "refresh_interval" : "-1" 
    } 
}'

插入完成后修改回默认值1s

curl -XPUT 'http://10.1.*.*:9200/dw-search/_settings' -d '{ 
    "index" : { 
        "refresh_interval" : "1s" 
    } 
}' 

另外下面的文章列出了很多有用的url
http://blog.csdn.net/u014351782/article/details/51207650
其中关闭index这个方法在一次故障处理中起了很大的作用,我们发现系统一直报’too many open files’,然后找到elasticsearch进程,发现确实打开了很多句柄,然后调用
curl http://localhost:9200/_nodes/process\?pretty
发现最大句柄数已经是65530
"max_file_descriptors" : 65530,
果然重启之后,句柄数很快还是飙到了65530,通过关闭index,句柄数得到了显著减少。

本篇博客还参考下面的博客:
http://www.wklken.me/posts/2015/05/23/elasticsearch-issues.html

www.htsjk.Com true http://www.htsjk.com/Elasticsearch/25924.html NewsArticle elasticsearch调优, 博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 这部分是从同事的wiki上扒下来的,记在这里,作为以后使用的参考 分片和副本调优 总结 副本多: 分片多:...
相关文章
    暂无相关文章
评论暂时关闭