ES安装的详细步骤、ES的集群搭建以及ElasticSearch安装时可能出现的问题，2、ElasticS

和通数据库htsjk.Com2023-04-11 02:20 来源:未知阅读:2715 评论 146 热度2

标签：大数据步骤搜索引擎 elasticsearc

ES安装的详细步骤、ES的集群搭建以及ElasticSearch安装时可能出现的问题，2、ElasticS

什么是es?

正排索引和倒排索引

安装 ElasticSearch的简单步骤

环境需求

安装ES

下载

设置虚拟机内存

创建用户

安装

ES的目录结构及其作用

配置文件以及作用

修改配置文件elasticsearch.yml

Elasticsearch.yml常用配置

修改配置文件jvm.options

log4j2.properties

启动ES

启动

关闭

ES的集群的搭建

可能会遇到的问题

解决内核问题

解决文件创建权限问题

解决线程开启限制问题

解决虚拟内存问题

测试

什么是es?

es是基于lucene的全文检索服务器，对外提供restful接口

简单来说就好比我们可以通过新华字典的目录关键字可以查到具体内容，es也是一样的原理，可以通过关键词检索到具体的内容

正排索引和倒排索引

正排索引: 简单来说就是通过内容逐一排查，直到查到自己想要的内容为止(内容------>关键字)

倒排索引: 简单来说就是通过关键字查找到所对应的内容(关键字------>内容)

安装 ElasticSearch的简单步骤

环境需求

1、jdk必须是jdk1.8.0_131以上版本。

2、ElasticSearch 需要至少4096 的线程池和 262144字节以上空间的虚拟内存才能正常启动，所以需要为虚拟机分配至少1.5G以上的内存

3、从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动

4、Elasticsearch的插件要求至少centos的内核要3.5以上版本

安装ES

下载

ElasticSearch官网：Elasticsearch

设置虚拟机内存

虚拟机的内存必须要在1.5G以上，这里我们给虚拟机2G内存

创建用户

从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动，所以我们要添加一个用户。

//创建elk 用户组
groupadd elk

//创建用户admin
useradd admin
passwd admin

//将admin用户添加到elk组
usermod -G elk admin

//为用户分配权限  chown将指定文件的拥有者改为指定的用户或组 -R处理指定目录以及其子目录下的所有文件
chown -R admin:elk /usr/upload
chown -R admin:elk /usr/local

//切换用户
su admin

安装

ES是Java开发的应用，解压即安装：

tar -zxvf elasticsearch-6.2.3.tar.gz -C /usr/local

ES的目录结构及其作用

bin 目录：可执行文件包
config 目录：配置相关目录
lib 目录：ES 需要依赖的 jar 包，ES 自开发的 jar 包
logs 目录：日志文件相关目录
modules 目录：功能模块的存放目录，如aggs、reindex、geoip、xpack、eval
plugins 目录：插件目录包，三方插件或自主开发插件
data 目录：在 ES 启动后，会自动创建的目录，内部保存 ES 运行过程中需要保存的数据。

配置文件以及作用

ES安装目录config中配置文件如下：

elasticsearch.yml：用于配置Elasticsearch运行参数

jvm.options：用于配置Elasticsearch JVM设置

log4j2.properties：用于配置Elasticsearch日志

修改配置文件elasticsearch.yml

//将原文件注释的内容全部删除 

cluster.name: es_demo
node.name: es_demo_node_1
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301"]
path.data: /usr/local/elasticsearch-6.2.3/data
path.logs: /usr/local/elasticsearch-6.2.3/logs
http.cors.enabled: true
http.cors.allow-origin: /.*/

#####注意data以及logs文件路径是否正确

Elasticsearch.yml常用配置

cluster.name:
       配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。   
node.name:
      节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，后边章节会详细介绍。
path.data:
       设置索引数据的存储路径，默认是es_home下的data文件夹，可以设置多个存储路径，用逗号隔开。      
path.logs:
       设置日志文件的存储路径，默认是es_home下的logs文件夹         
network.host:  
       设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。   
http.port: 9200
       设置对外服务的http端口，默认为9200。      
transport.tcp.port: 9300 
       集群结点之间通信端口      
discovery.zen.ping.unicast.hosts:[“host1:port”, “host2:port”, “…”]  
       设置集群中master节点的初始列表。
discovery.zen.ping.timeout: 3s  
       设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些。
http.cors.enabled：
	   是否支持跨域，默认为false
http.cors.allow-origin：
	   当设置允许跨域，默认为*,表示支持所有域名

修改配置文件jvm.options

设置最小及最大的JVM堆内存大小，在jvm.options中设置 -Xms和-Xmx：

1）两个值设置为相等

2）将Xmx 设置为不超过物理内存的一半。

####jvm.options文件
-Xms512m
-Xmx512m

log4j2.properties

志文件设置，ES使用log4j，注意日志级别的配置。

启动ES

启动

//不带-d启动后可在黑窗口看到启动详情日志  但是会霸占黑窗口
//带-d不会霸占 但是看不到启动详情

./elasticsearch
#或
./elasticsearch -d

关闭

//并未向我们提供关闭的脚本 需要我们在进程中杀死

ps-ef|grep elasticsearch

kill -9 pid

ES的集群的搭建

相比其他集群的搭建，ES的集群的搭建及其简单，前面我们已经安装好了es若是搭建集群的话需要在复制出一台linux，因此我们将这台安装好es 的虚拟机直接再克隆出一台，修改克隆机的ip以及端口，然后修改两个es的elasticsearch.yml，修改代码如下:

####注意 两份配置文件仅仅需要修改node.name 以及discovery.zen.ping.unicast.hosts这两处
####name是用来区分  hosts配置的是两台各自的ip及其端口

//第一台
cluster.name: es_demo
node.name: es_demo_node_1
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.222.136:9300", "192.168.222.137:9300"]
path.data: /usr/local/elasticsearch-6.2.3/data
path.logs: /usr/local/elasticsearch-6.2.3/logs
http.cors.enabled: true
http.cors.allow-origin: /.*/

#####注意data以及logs文件路径是否正确

//第二台
cluster.name: es_demo
node.name: es_demo_node_2
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.222.136:9300", "192.168.222.137:9300"]
path.data: /usr/local/elasticsearch-6.2.3/data
path.logs: /usr/local/elasticsearch-6.2.3/logs
http.cors.enabled: true
http.cors.allow-origin: /.*/

配置完成后启动各自的es即可自动完成集群搭建

可能会遇到的问题

解决内核问题

unable to install syscall filter

Elasticsearch的插件要求至少3.5以上版本。
如果linux内核版本较低。我们禁用这个插件即可。
修改elasticsearch.yml文件，在最下面添加如下配置：

bootstrap.system_call_filter: false

解决文件创建权限问题

[1]: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

Linux 默认来说，一般限制应用最多创建的文件是 4096个。但是 ES 至少需要 65536 的文件创建权限。
我们用的是admin用户，而不是root，所以文件权限不足。
使用root用户修改配置文件:

su root
vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

//若是有则修改 若是没有则追加

解决线程开启限制问题

[2]: max number of threads [1024] for user [admin] is too low, increase to at least [4096]

默认的 Linux 限制 root 用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024 个线程。必须修改限制数为4096+。因为 ES 至少需要 4096 的线程池预备。
如果虚拟机的内存是 1G，最多只能开启 3000+个线程数。至少为虚拟机分配 1.5G 以上的内存。
使用root用户修改配置：

su root
vim /etc/security/limits.conf

*  soft nproc  4096
*  hard nproc  4096

//若是有则修改 若是没有则追加

解决虚拟内存问题

[3]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

ES 需要开辟一个 262144字节以上空间的虚拟内存。
Linux 默认不允许任何用户和应用直接开辟虚拟内存。

su root
vim /etc/sysctl.conf

vm.max_map_count=655360 #追加的内容 #限制一个进程可以拥有的VMA(虚拟内存区域)的数量
sysctl -p   #让sysctl.conf配置生效

测试

ES 中只要启动了任意一个 ES 应用就是启动了一个 ES的 cluster 集群。默认的 ES集群命名为 elasticsearch。如果启动了多个应用（可以在多个节点或单一节点上启动多个应用），默认的ES 会自动找集群做加入集群的过程。浏览器访问：http://ip:9200 测试成功返回结果如下

{
  "name" : "es_demo_node_1", # node name 结点名称。随机分配的结点名称
  "cluster_name" : "es_demo", # cluster name 集群名称。 默认的集群名称
  "cluster_uuid" : "RqHaIiYjSoOyrTGq3ggCOA", # 集群唯一 ID
  "version" : {
    "number" : "6.2.3", #版本号
    "build_hash" : "c59ff00", 
    "build_date" : "2018-03-13T10:06:29.741383Z",#发布日期
    "build_snapshot" : false,#是否快照版本
    "lucene_version" : "7.2.1",#lucene版本号
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。

返回首页

评论暂时关闭