Solr安装，

和通数据库htsjk.Com2019-10-13 23:46 来源:未知阅读:11889 评论 411 热度4

标签：

Solr安装，

Solr
- 概述
- Solr和Lucene的区别
- Solr的安装及配置
  - 下载
  - Solr目录结构
- Solr整合Tomcat
  - Solr Home与SolrCore
  - 整合Tomcat
- 设置业务系统Field
- 维护索引
  - 添加文档
    - 添加单个document
    - 批量添加document
  - 删除文档
    - 根据id删除文档
    - 根据条件删除文档
    - 删除所有文档
  - 查询索引
- 使用Solrj管理Solr
  - 概述
  - 使用solrj
    - 添加文档
    - 删除文档
      - 根据id删除
      - 根据查询条件删除
    - 修改
    - 查询
      - 简单查询
      - 复杂查询
- solrclound
  - 概述
  - Solr集群方案
  - zookeeper集群搭建
  - solr集群搭建

Solr

概述

Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况

Solr和Lucene的区别

Lucene：是一个开放源代码的全文检索引擎工具包，它不是一个完整的全文检索引擎
Solr：它是一个搜索引擎服务，可以独立运行，通过Solr可以非常快速的构建企业的搜索引擎，通过Solr也可以高效的完成站内搜索功能。

Solr的安装及配置

下载

Solr官网

Solr目录结构

bin：solr的运行脚本
contrib：solr的一些贡献软件/插件，用于增强solr的功能。
dist：该目录包含build过程中产生的war和jar文件，以及相关的依赖文件。
docs：solr的API文档
example：solr工程的例子目录：
example/solr：该目录是一个包含了默认配置信息的Solr的Core目录。
example/multicore：该目录包含了在Solr的multicore中设置的多个Core目录。
example/webapps：该目录中包括一个solr.war，该war可作为solr的运行实例工程。
licenses：solr相关的一些许可信息

solr 需要运行在一个Servlet容器中，Solr4.10.3要求jdk使用1.7以上，Solr默认提供Jetty

Solr整合Tomcat

Solr Home与SolrCore

创建一个Solr home目录，SolrHome是Solr运行的主目录，目录中包括了运行Solr实例所有的配置文件和数据文件，Solr实例就是SolrCore，一个SolrHome可以包括多个SolrCore（Solr实例），每个SolrCore提供单独的搜索和索引服务。

example\solr是一个solr home目录结构

collection1”是一个SolrCore实例，目录内容如下所示

collection1：叫做一个Solr运行实例SolrCore，SolrCore名称不固定，一个solr运行实例对外单独提供索引和搜索接口。
solrHome：可以创建多个solr运行实例SolrCore。一个solr的运行实例对应一个索引目录。
conf：SolrCore的配置文件目录。
data：存放索引文件需要创建

整合Tomcat

第一步：安装tomcat，D:\temp\apache-tomcat-7.0.53
第二步：把\solr-4.10.3\dist\solr-4.10.3.war复制到D:\temp\apache-tomcat-7.0.53\webapps下，改名为solr.war，solr.war解压，解压之后删除solr.war，把\solr-4.10.3\example\lib\ext目录下的所有的jar包添加到solr工程lib文件夹中
第三步：配置solrHome和solrCore。

第六步：告诉solr服务器配置文件也就是solrHome的位置。修改web.xml使用jndi的方式告诉solr服务器
solr/home名称必须是固定的。

第四步：启动tomcat，并访问http://localhost:8080/solr/

设置业务系统Field

如果不使用Solr提供的Field可以针对具体的业务需要自定义一套Field

<!--product-->
   <field name="product_name" type="text_ik" indexed="true" stored="true"/>
   <field name="product_price"  type="float" indexed="true" stored="true"/>
   <field name="product_description" type="text_ik" indexed="true" stored="false" />
   <field name="product_picture" type="string" indexed="false" stored="true" />
   <field name="product_catalog_name" type="string" indexed="true" stored="true" />

   <field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
   <copyField source="product_name" dest="product_keywords"/>
   <copyField source="product_description" dest="product_keywords"/>

维护索引

添加文档

添加单个document

访问update这个requestHandler即可

批量添加document

配置solrconfig.mxl文件，添加一个requestHandler

 <requestHandler name="/dataimport" 
class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
  <str name="config">data-config.xml</str>
 </lst>
</requestHandler>

创建一个data-config.xml，保存到collection1\conf\目录下

<?xml version="1.0" encoding="UTF-8" ?>  
<dataConfig>   
<dataSource type="JdbcDataSource"   
      driver="com.mysql.jdbc.Driver"   
      url="jdbc:mysql://localhost:3306/lucene"   
      user="root"   
      password="root"/>   
<document>   
<entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">
     <field column="pid" name="id"/> 
     <field column="name" name="product_name"/> 
     <field column="catalog_name" name="product_catalog_name"/> 
     <field column="price" name="product_price"/> 
     <field column="description" name="product_description"/> 
     <field column="picture" name="product_picture"/> 
</entity>   
</document>   
</dataConfig>

重启tomcat，点击“execute”按钮导入数据

删除文档

根据id删除文档

<!--documentType选择XML格式，如果是json则为{"id":"8"}-->
<delete>
<!--此处的id为索引库结果集中的一个字段，不是文档id-->
    <id>8</id>
</delete>

根据条件删除文档

<delete>
    <query>product_catalog_name:幽默杂货</query>
</delete>

删除所有文档

 <delete>
    <query>*:*</query>
</delete>

查询索引

使用Solrj管理Solr

概述

solrj是访问Solr服务的java客户端，提供索引和搜索的请求方法

使用solrj

将/solr/dist/solr-solrj.jar添加到项目中

添加文档

//向索引库中添加索引
    @Test
    public void addDocument() throws Exception {
        //和solr服务器创建连接
        //参数：solr服务器的地址
        SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");
        //创建一个文档对象
        SolrInputDocument document = new SolrInputDocument();
        //向文档中添加域
        //第一个参数：域的名称，域的名称必须是在schema.xml中定义的
        //第二个参数：域的值
        document.addField("id", "c0001");
        document.addField("title_ik", "使用solrJ添加的文档");
        document.addField("content_ik", "文档的内容");
        document.addField("product_name", "商品名称");
        //把document对象添加到索引库中
        solrServer.add(document);
        //提交修改
        solrServer.commit();
    }

删除文档

根据id删除

//删除文档，根据id删除
    @Test
    public void deleteDocumentByid() throws Exception {
        //创建连接
        SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");
        //根据id删除文档
        solrServer.deleteById("c0001");
        //提交修改
        solrServer.commit();
    }

根据查询条件删除

//根据查询条件删除文档
    @Test
    public void deleteDocumentByQuery() throws Exception {
        //创建连接
        SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");
        //根据查询条件删除文档
        solrServer.deleteByQuery("*:*");
        //提交修改
        solrServer.commit();
    }

修改

solrj没有对应修改的方法，所以修改操作只能是先删除后添加

查询

简单查询

//查询索引
    @Test
    public void queryIndex() throws Exception {
        //创建连接
        SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");
        //创建一个query对象
        SolrQuery query = new SolrQuery();
        //设置查询条件
        query.setQuery("*:*");
        //执行查询
        QueryResponse queryResponse = solrServer.query(query);
        //取查询结果
        SolrDocumentList solrDocumentList = queryResponse.getResults();
        //共查询到商品数量
        System.out.println("共查询到商品数量:" + solrDocumentList.getNumFound());
        //遍历查询的结果
        for (SolrDocument solrDocument : solrDocumentList) {
            System.out.println(solrDocument.get("id"));
            System.out.println(solrDocument.get("product_name"));
            System.out.println(solrDocument.get("product_price"));
            System.out.println(solrDocument.get("product_catalog_name"));
            System.out.println(solrDocument.get("product_picture"));

        }
    }

复杂查询

//复杂查询索引
    @Test
    public void queryIndex2() throws Exception {
        //创建连接
        SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");
        //创建一个query对象
        SolrQuery query = new SolrQuery();
        //设置查询条件
        query.setQuery("钻石");
        //过滤条件
        query.setFilterQueries("product_catalog_name:幽默杂货");
        //排序条件
        query.setSort("product_price", ORDER.asc);
        //分页处理
        query.setStart(0);
        query.setRows(10);
        //结果中域的列表
        query.setFields("id","product_name","product_price","product_catalog_name","product_picture");
        //设置默认搜索域
        query.set("df", "product_keywords");
        //高亮显示
        query.setHighlight(true);
        //高亮显示的域
        query.addHighlightField("product_name");
        //高亮显示的前缀
        query.setHighlightSimplePre("<em>");
        //高亮显示的后缀
        query.setHighlightSimplePost("</em>");
        //执行查询
        QueryResponse queryResponse = solrServer.query(query);
        //取查询结果
        SolrDocumentList solrDocumentList = queryResponse.getResults();
        //共查询到商品数量
        System.out.println("共查询到商品数量:" + solrDocumentList.getNumFound());
        //遍历查询的结果
        for (SolrDocument solrDocument : solrDocumentList) {
            System.out.println(solrDocument.get("id"));
            //取高亮显示
            String productName = "";
            Map<String, Map<String, List<String>>> highlighting = queryResponse.getHighlighting();
            List<String> list = highlighting.get(solrDocument.get("id")).get("product_name");
            //判断是否有高亮内容
            if (null != list) {
                productName = list.get(0);
            } else {
                productName = (String) solrDocument.get("product_name");
            }

            System.out.println(productName);
            System.out.println(solrDocument.get("product_price"));
            System.out.println(solrDocument.get("product_catalog_name"));
            System.out.println(solrDocument.get("product_picture"));

        }
    }

solrclound

概述

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用

1. 三个Solr实例，每个实例包括两个Core，组成一个SolrCloud
2. 索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。用户发起索引请求分别从shard1和shard2上获取，解决高并发问题
3. Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息
4. 每个Core是Solr中一个独立运行单位，提供索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。
5. Master是master-slave结构中的主结点），Slave是master-slave结构中的从结点。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的

Solr集群方案

Zookeeper作为集群的管理工具。
1. 集群管理：容错、负载均衡。
2. 配置文件的集中管理
3. 集群的入口
4. 需要实现zookeeper 高可用。需要搭建集群。最好是奇数节点。需要三个zookeeper服务器。搭建solr集群需要7台服务器

zookeeper集群搭建

第一步：需要安装jdk环境
第二步：把zookeeper的压缩包上传到服务器
第三步：解压缩，把zookeeper复制三份
第五步：在每个zookeeper目录下创建一个data目录。
第六步：在data目录下创建一个myid文件，文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3
第七步：修改配置文件。把conf目录下的zoo_sample.cfg文件改名为zoo.cfg
第八步：启动每个zookeeper实例，启动bin/zkServer.sh start

solr集群搭建

第一步：创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480
第二步：部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。
第三步：为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。
第四步：需要修改solr的web.xml文件（修改env-entry节点）。把solrhome关联起来。
第五步：配置solrCloud相关的配置。每个solrhome下都有一个solr.xml，把其中的ip及端口号配置好。

第六步：让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可：
使用工具上传配置文件：/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

./zkcli.sh -zkhost 192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：
使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件

[root@localhost bin]# ./zkCli.sh 
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf
[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt, _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, _schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]
[zk: localhost:2181(CONNECTED) 3] 
退出：
[zk: localhost:2181(CONNECTED) 3] quit

第七步：修改tomcat/bin目录下的catalina.sh 文件，关联solr和zookeeper。把此配置添加到配置文件中

JAVA_OPTS="-DzkHost=192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183"

第八步：JAVA_OPTS=”-DzkHost=192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183”
启动每个tomcat实例。要包装zookeeper集群是启动状态
第九步：访问集群

第十步：创建新的Collection进行分片处理。
http://192.168.25.154:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
响应结果