elasticsearch调优,
博客原文
安利一篇我翻译的国外大牛的神经网络入门文章
这部分是从同事的wiki上扒下来的,记在这里,作为以后使用的参考
分片和副本调优
总结
副本多:
分片多:
副本最好设置为2份提高容错性和查询速度,分片设置为节点数量的2倍提高插入速度,如果是大批量导入不做查询的话可取消副本
Merge 吞吐量调优
系统默认是20mb,实际系统性能可能会更好,可适当调整
curl -XPUT "http://<ip>:9200/_cluster/settings" -d
'{
"persistent":
{
"indices.store.throttle.type": "merge",
"indices.store.throttle.max_bytes_per_sec": "200mb"
}
}'
刷新频率调优
大批量插入时,修改refresh_interval到-1(不刷新)或大于1s的时间,减少shard刷新间隔
curl -XPUT 'http://<ip>:9200/dw-search/_settings' -d '{
"index" : {
"refresh_interval" : "-1"
}
}'
插入完成后修改回默认值1s
curl -XPUT 'http://10.1.*.*:9200/dw-search/_settings' -d '{
"index" : {
"refresh_interval" : "1s"
}
}'
另外下面的文章列出了很多有用的url
http://blog.csdn.net/u014351782/article/details/51207650
其中关闭index这个方法在一次故障处理中起了很大的作用,我们发现系统一直报’too many open files’,然后找到elasticsearch进程,发现确实打开了很多句柄,然后调用
curl http://localhost:9200/_nodes/process\?pretty
发现最大句柄数已经是65530
"max_file_descriptors" : 65530,
果然重启之后,句柄数很快还是飙到了65530,通过关闭index,句柄数得到了显著减少。
本篇博客还参考下面的博客:
http://www.wklken.me/posts/2015/05/23/elasticsearch-issues.html
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。