Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化

Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr索引的实现方法很简单，用POST方法向Solr服务器发送一个描述Field及其内容的XML文档，Solr根据xml文档添加、删除、更新索引 。Solr搜索只需要发送HTTP GET请求，然后对Solr返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene。

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过提出查找请求，并得到返回结果。

Solr的目标是打造一款企业级的搜索引擎系统，它是一个搜索引擎服务，可以独立运行，通过Solr可以非常快速的构建企业的搜索引擎，通过Solr也可以高效的完成站内搜索功能。

Lucene是什么

Lucene是一个开放源代码的全文检索引擎工具包，它不是一个完整的全文检索引擎，Lucene提供了完整的查询引擎和索引引擎，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者以Lucene为基础构建全文检索引擎。

lib 引入外部jar包 （路径写错了，也没事）

可以将 solr解压目录/contrib和dist复制solr.home下

修改 lib的路径，引用到jar包

Elevator(原始配置需要加载)

如果你删除了所有的文件，只保留了schema.xml和solrconfig.xml，那么需要注释掉下面的代码（在solrconfig.xml的1606行左右

其它配置

FieldType域类型定义

下边“text_general”是Solr默认提供的FieldType，通过它说明FieldType定义的内容：

FieldType子结点包括：name,class,positionIncrementGap等一些参数：

name：是这个FieldType的名称

class：是Solr提供的包solr.TextField，solr.TextField允许用户通过分析器来定制索引和查询，分析器包括一个分词器（tokenizer）和多个过滤器（filter）

positionIncrementGap：可选属性，定义在同一个文档中此类型数据的空白间隔，避免短语匹配错误，此值相当于Lucene的短语查询设置slop值，根据经验设置为100。

 

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

 

索引分析器中：使用solr.StandardTokenizerFactory标准分词器，solr.StopFilterFactory停用词过滤器，solr.LowerCaseFilterFactory小写过滤器。

搜索分析器中：使用solr.StandardTokenizerFactory标准分词器，solr.StopFilterFactory停用词过滤器，这里还用到了solr.SynonymFilterFactory同义词过滤器。

 

Field定义

在fields结点内定义具体的Field，filed定义包括name,type（为之前定义过的各种FieldType）,indexed（是否被索引）,stored（是否被储存），multiValued（是否存储多个值）等属性。

如下：

<field name="name" type="text_general" indexed="true" stored="true"/>

<field name="features" type="text_general" indexed="true" stored="true" multiValued="true"/>

 

multiValued：该Field如果要存储多个值时设置为true，solr允许一个Field存储多个值，比如存储一个用户的好友id（多个），商品的图片（多个，大图和小图），通过使用solr查询要看出返回给客户端是数组：

<fields>

   <!-- fields各

Solr在删除、更新索引时使用id域进行判断，也可以自定义唯一主键。

注意在创建索引时必须指定唯一约束。

 

copyField复制域

 

copyField复制域，可以将多个Field复制到一个Field中，以便进行统一的检索：

比如，输入关键字搜索title标题内容content，

定义title、content、text的域：

个属性说明:

     name:必须属性-字段名

     type:必须属性- <types>中定义的字段类型

     indexed:如果字段需要被索引（用于搜索或排序），属性值设置为true

     stored:如果字段内容需要被返回，值设置为true

     docValues:如果这个字段应该有文档值（doc values），设置为true。文档值在门

           面搜索，分组，排序和函数查询中会非常有用。虽然不是必须的，而且会导致生成

          索引变大变慢，但这样设置会使索引加载更快，更加NRT友好，更高的内存使用效率。

          然而也有一些使用限制：目前仅支持StrField, UUIDField和所有Trie*Fields,

           并且依赖字段类型,可能要求字段为单值（single-valued）的,必须的或者有默认值。

     multiValued:如果这个字段在每个文档中可能包含多个值，设置为true

     termVectors: [false]设置为true后，会保存所给字段的相关向量（vector）

           当使用MoreLikeThis时,用于相似度判断的字段需要设置为stored来达到最佳性能.

     termPositions:保存和向量相关的位置信息，会增加存储开销

     termOffsets:保存offset和向量相关的信息，会增加存储开销

     required:字段必须有值，否则会抛异常

     default:在增加文档时，可以根据需要为字段设置一个默认值，防止为空

  

 

 

uniqueKey

Solr中默认定义唯一主键key为id域，如下：

Solr在删除、更新索引时使用id域进行判断，也可以自定义唯一主键。

注意在创建索引时必须指定唯一约束。

 

copyField复制域

 

copyField复制域，可以将多个Field复制到一个Field中，以便进行统一的检索：

比如，输入关键字搜索title标题内容content，

定义title、content、text的域：

根据关键字只搜索text域的内容就相当于搜索title和content，将title和content复制到text中，如下：

例如:

<!--拷贝字段-->   

< field   name = "all"   type = "text"   indexed = "true"   stored = "false"   multiValued = "true"/>   

</ fields >

建议建立一个拷贝字段，将所有的 全文本 字段复制到一个字段中，以便进行统一的检索：

以下是拷贝设置：

< copyField   source = "name"   dest = "all" />

< copyField   source = "summary"   dest = "all" />

dynamicField（动态字段）

 

动态字段就是不用指定具体的名称，只要定义字段名称的规则，例如定义一个 dynamicField，name为*_i，定义它的type为text，那么在使用这个字段的时候，任何以_i结尾的字段都被认为是符合这个定义的，例如：name_i，gender_i，school_i等。

 

自定义Field名为：product_title_t，“product_title_t”和scheam.xml中的dynamicField规则匹配成功，如下：

“product_title_t”是以“_t”结尾。

 

创建索引：

搜索索引：

Analyzer

安装中文分词器

IKAnalyzer部署

拷贝IKAnalyzer的文件到Tomcat下Solr目录 中

 

将IKAnalyzer2012FF_u1.jar拷贝到Tomcat的webapps/solr/WEB-INF/lib下。

在Tomcat的webapps/solr/WEB-INF/下创建classes目录

将IKAnalyzer.cfg.xml、ext_stopword.dic  mydict.dic  copy到Tomcat的

webapps/solr/WEB-INF/classes

 

注意：ext_stopword.dic 和mydict.dic必须保存成无BOM的utf-8类型。

 

修改schema.xml文件

FieldType

 

首先需要在types结点内定义一个FieldType子结点，包括name,class,等参数，name就是这个FieldType的名称，class指向org.apache.solr.analysis包里面对应的class名称，用来定义这个类型的行为。在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

 

修改Solr的schema.xml文件，添加FieldType：

 

<!-- IKAnalyzer-->

     <fieldType name="text_ik" class="solr.TextField">

<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>

 </fieldType>

 

 

Field：

FieldType定义好后就可以在fields结点内定义具体的field，filed定义包括name,type（即FieldType）,indexed（是否被索引）,stored（是否被储存），multiValued（是否有多个值）等

 

<!--IKAnalyzer Field-->

   <field name="title_ik" type="text_ik" indexed="true" stored="true" />

   <field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true"/>

 

测试

设置业务系统Field

如果不使用Solr提供的Field可以针对具体的业务需要自定义一套Field，如下是商品信息Field：

 

<!--product-->

   <field name="product_name" type="text_ik" indexed="true" stored="true"/>

   <field name="product_price"  type="float" indexed="true" stored="true"/>

   <field name="product_description" type="text_ik" indexed="true" stored="false" />

   <field name="product_picture" type="string" indexed="false" stored="true" />

   <field name="product_catalog_name" type="string" indexed="true" stored="true" />

 

   <field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>

   <copyField source="product_name" dest="product_keywords"/>

   <copyField source="product_description" dest="product_keywords"/>

索引维护

使用/update进行索引维护，进入Solr管理界面SolrCore下的Document下：

overwrite="true" ： solr在做索引的时候，如果文档已经存在，就用xml中的文档进行替换

commitWithin="10000" ： solr在做索引的时候，每个10000（10秒）毫秒，做一次文档提交。

为了方便测试也可以在Document中立即提交，在</add>后边添加“<commit/>”，如下：

<add>

<doc>

<field name="id">change.me</field>

<field name="title">change.me</field>

</doc>

</add>

<commit/>

 

 

添加/更新索引

solr默认根据id（唯一约束）域来更新Document的内容，如果根据id值搜索不到id域则会执行添加操作，如果找到则更新。

 

请求xml格式如下：

<add>

<doc>

<field name="id">change.me</field>

<field name="？？" >？？</field>

。。。

</doc>

</add>

说明：唯一标识 Field必须有，这里使用Solr默认的id。

 

 

删除索引

删除索引格式如下：

 

1） 删除制定ID的索引

<delete>

<id>8</id>

。。。

</delete>

 

2） 删除查询到的索引数据

<delete>

<query>product_catalog_name:幽默杂货</query>

</delete>

3） 删除所有索引数据

 <delete>

<query>*:*</query>

</delete>

dataimport-handler

安装dataimport-Handler从关系数据库将数据导入到索引库。

 

第一步：向SolrCore中加入jar包

在SolrCore目录中创建lib目录，将dataimportHandler和MySQL数据库驱动的jar拷贝至lib下：

dataimportHandler在solr安装目录的dist下：

在lib下的包会被自动加载。

第二步：修改solrconfig.xml，添加requestHandler：

 

<requestHandler name="/dataimport"

class="org.apache.solr.handler.dataimport.DataImportHandler">

    <lst name="defaults">

      <str name="config">data-config.xml</str>

  </lst>

  </requestHandler> 

 

第三步：编辑data-config.xml文件，存放在SolrCore的conf目录

 

<?xml version="1.0" encoding="UTF-8" ?>  

<dataConfig>   

<dataSource type="JdbcDataSource"   

  driver="com.mysql.jdbc.Driver"   

  url="jdbc:mysql://localhost:3306/lucene"   

  user="root"   

  password="mysql"/>   

<document>   

<entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">

 <field column="pid" name="id"/> 

 <field column="name" name="product_name"/>

 <field column="catalog_name" name="product_catalog_name"/>

 <field column="price" name="product_price"/>

 <field column="description" name="product_description"/>

 <field column="picture" name="product_picture"/> 

</entity>   

</document>   

 

</dataConfig>

 

说明：

<field column="pid" name="id"/>必须有一个id域，这里使用Solr默认的id域，域值是从关系数据库查询的pid列值。

下边以“product_”开头的Field都是在schema.xml中自定义的商品信息Field。

 

第四步：重启Tomcat，进入管理界面--》SolrCore--》dataimport下执行导入

可以看见：导入成功，一共导入3803个文档。

Solr搜索

requestHandler

<requestHandler name="/select" class="solr.SearchHandler">

    <!-- 设置默认的参数值，可以在请求地址中修改这些参数-->

    <lst name="defaults">

         <str name="echoParams">explicit</str>

        <int name="rows">10</int><!--显示数量-->

        <str name="wt">json</str><!--显示格式-->

        <str name="df">text</str><!--默认搜索字段-->

    </lst>

</requestHandler>

 

查询语法

通过/select搜索索引，Solr制定一些参数完成不同需求的搜索：

1. q - 查询字符串，必须的，如果查询所有使用*:*。

2. fq - （filter query）过虑查询，作用：在q查询符合结果中同时是fq查询符合的，例如：：

过滤查询价格从1到20的记录。

也可以在“q”查询条件中使用product_price:[1 TO 20]，如下：

也可以使用“*”表示无限，例如：

20以上：product_price:[20 TO *]

20以下：product_price:[* TO 20]

3. sort - 排序，格式：sort=<field name>+<desc|asc>[,<field name>+<desc|asc>]… 。示例： 

按价格降序

4. start - 分页显示使用，开始记录下标，从0开始 

5. rows - 指定返回结果最多有多少条记录，配合start来实现分页。

显示前10条。

6. fl - 指定返回那些字段内容，用逗号或空格分隔多个。

显示商品图片、商品名称、商品价格

 

7. df-指定一个搜索Field

也可以在SolrCore目录 中conf/solrconfig.xml文件中指定默认搜索Field，指定后就可以直接在“q”查询条件中输入关键字。

8. wt - (writer type)指定输出格式，可以有 xml, json, PHP, phps,后面solr 1.3增加的，要用通知我们，因为默认没有打开。

 

9. hl 是否高亮 ,设置高亮Field，设置格式前缀和后缀。

solrJ

solrj 客户端操作

solr的客户端代码和solr服务器之间的增删改查索引操作是通过类似WebService接口API，所以在操作时，只要遵循一定的接口规范即可。

客户端代码solrj

solrj是solr提供的java语言支持，可以使用客户端语言通过访问webservice接口，实现对solr服务器的增删改查。

准备环境

第一步： 导入solrj jar包 到项目

第二步： 运行solr服务器 

SolrJ完成索引维护

什么是SolrJ

solrj是访问Solr服务的java客户端，提供索引和搜索的请求方法，SolrJ通常在嵌入在业务系统中，通过SolrJ的API接口操作Solr服务

创建索引(2种方式)

使用SolrJ创建索引，通过调用SolrJ提供的API请求Solr服务

第一种方式：

Document通过SolrInputDocument进行构建。

说明：根据id（唯一约束）域来更新Document的内容，如果根据id值搜索不到id域则会执行添加操作，如果找到则更新。

第二种方式

对实体数据Bean 添加@Field注解，直接传递Bean

package com.itcast.solr.bean; import org.apache.solr.client.solrj.beans.Field; public class Article { @Field private String id; @Field private String title; @Field private String content;   public String getId() { return id; }   public void setId(String id) { this.id = id; }   public String getTitle() { return title; }   public void setTitle(String title) { this.title = title; }   public String getContent() { return content; }   public void setContent(String content) { this.content = content; } }

注意：下面的保存必须满足scama里面字段和javabean字段一致。

@Test public void createIndex2() throws SolrServerException, IOException { HttpSolrServer solrServer = new HttpSolrServer("http://127.0.0.1:8080/solr/itcast1"); Article article = new Article(); article.setId("4"); article.setTitle("这是基于bean的方式建立"); article.setContent("这是使用bean建立的content"); solrServer.addBean(article); solrServer.commit(); }

 

删除索引

根据ID进行删除

根据查询条件删除

上边介绍的删除方法，使用SolrJ也可以完成，代码如下：

、

修改索引

对存在的索引进行添加即可

@Test public void createIndex2() throws SolrServerException, IOException { HttpSolrServer solrServer = new HttpSolrServer("http://192.168.0.250:8080/solr-6.2.0/itcast1"); Article article = new Article(); article.setId("2"); article.setTitle("这是基于bean的方式建立"); article.setContent("这是使用bean建立的content"); solrServer.addBean(article); solrServer.commit(); }

 

SolrJ完成搜索

搜索索引

查询所有

条件查询

// 搜索

@Test

public void testSearch()throws SolrServerException {

 

SolrServer solr = new HttpSolrServer(urlString);

// 查询对象

SolrQuery query = new SolrQuery();

//设置查询条件,名称“q”是固定的且必须 的

//搜索product_keywords域，product_keywords是复制域包括product_name和product_description

query.set("q","product_keywords:java教程");

// 请求查询

QueryResponse response = solr.query(query);

 

// 查询结果

SolrDocumentList docs = response.getResults();

// 查询文档总数

System.out.println("查询文档总数" + docs.getNumFound());

 

for (SolrDocument doc : docs) {

//商品主键

String id = (String) doc.getFieldValue("id");

//商品名称

String product_name = (String) doc.getFieldValue("product_name");

//商品价格

Float product_price = (Float) doc.getFieldValue("product_price");

//商品图片

String product_picture = (String) doc.getFieldValue("product_picture");

//商品分类

String product_catalog_name = (String) doc.getFieldValue("product_catalog_name");

System.out.println("=============================");

System.out.println(id);

System.out.println(product_name);

System.out.println(product_price);

System.out.println(product_picture);

System.out.println(product_catalog_name);

}

}

 

组合查询

 

 

// 根据商品分类、价格范围、关键字查询，查询结果按照价格降序排序

@Test

public void testSearch2()throws SolrServerException {

 

SolrServer solr = new HttpSolrServer(urlString);

// 查询对象

SolrQuery query = new SolrQuery();

// 搜索product_keywords域，product_keywords是复制域包括product_name和product_description

// 设置商品分类、关键字查询

// query.set("q", "product_keywords:挂钩  AND product_catalog_name:幽默杂货");

query.setQuery("product_keywords:挂钩  AND product_catalog_name:幽默杂货");

 

// 设置价格范围

query.set("fq","product_price:[1 TO 20]");

 

// 查询结果按照价格降序排序

// query.set("sort", "product_pricedesc");

query.addSort("product_price", ORDER.desc);

// 请求查询

QueryResponse response = solr.query(query);

 

// 查询结果

SolrDocumentList docs = response.getResults();

// 查询文档总数

System.out.println("查询文档总数" + docs.getNumFound());

 

for (SolrDocument doc : docs) {

// 商品主键

String id = (String) doc.getFieldValue("id");

// 商品名称

String product_name = (String) doc.getFieldValue("product_name");

// 商品价格

Float product_price = (Float) doc.getFieldValue("product_price");

// 商品图片

String product_picture = (String) doc

.getFieldValue("product_picture");

// 商品分类

String product_catalog_name = (String) doc

.getFieldValue("product_catalog_name");

 

System.out.println("=============================");

System.out.println("id=" + id);

System.out.println("product_name=" + product_name);

System.out.println("product_price=" + product_price);

System.out.println("product_picture=" + product_picture);

System.out.println("product_catalog_name=" + product_catalog_name);

}

}

 

分页、高亮

通过SolrQuery 设置高亮相关方法就可以了 

// 分页和高亮

@Test

public void testSearch3()throws SolrServerException {

SolrServer solr = new HttpSolrServer(urlString);

// 查询对象

SolrQuery query = new SolrQuery();

// 设置商品分类、关键字查询

query.setQuery("product_keywords:透明挂钩");

// 分页参数

// 每页显示记录数

int pageSize = 2;

// 当前页码

int curPage = 2;

// 开始记录下标

int begin = pageSize * (curPage - 1);

// 起始下标

query.setStart(begin);

// 结束下标

query.setRows(pageSize);

// 设置高亮参数

query.setHighlight(true);//开启高亮组件

query.addHighlightField("product_name");//高亮字段

query.setHighlightSimplePre("<span color='red'>");//前缀标记

query.setHighlightSimplePost("</span>");//后缀标记

// 请求查询

QueryResponse response = solr.query(query);

// 查询结果

SolrDocumentList docs = response.getResults();

// 查询文档总数

System.out.println("查询文档总数" + docs.getNumFound());

for (SolrDocument doc : docs) {

// 商品主键

String id = (String) doc.getFieldValue("id");

// 商品名称

String product_name = (String) doc.getFieldValue("product_name");

// 商品价格

Float product_price = (Float) doc.getFieldValue("product_price");

// 商品图片

String product_picture = (String) doc

.getFieldValue("product_picture");

// 商品分类

String product_catalog_name = (String) doc

.getFieldValue("product_catalog_name");

 

System.out.println("=============================");

System.out.println("id=" + id);

System.out.println("product_name=" + product_name);

System.out.println("product_price=" + product_price);

System.out.println("product_picture=" + product_picture);

System.out.println("product_catalog_name=" + product_catalog_name);

// 高亮信息

if (response.getHighlighting() !=null) {

if (response.getHighlighting().get(id) !=null) {

Map<String, List<String>> map = response.getHighlighting().get(id);//取出高亮片段

if (map.get("product_name") !=null) {

 

for (String s : map.get("product_name")) {

 

System.out.println(s);

}

}

}

}

}

}

solrj查询结果高亮处理(二)

@Test public void selectHighlighter() throws SolrServerException, IOException { HttpSolrServer solrServer = new HttpSolrServer("http://192.168.0.250:8080/solr-6.2.0/itcast1"); SolrQuery solrQuery = new SolrQuery("跟风"); solrQuery.setHighlight(true);//开启高亮 solrQuery.addHighlightField("title");//设置高亮字段 solrQuery.addHighlightField("content");//设置高亮字段 solrQuery.setHighlightFragsize(200);//设置摘要长度 solrQuery.setHighlightSimplePre("<font color='red'>");//设置前缀 solrQuery.setHighlightSimplePost("</font>");//设置后缀 QueryResponse queryResponse = solrServer.query(solrQuery);//查询 Map<String, Map<String, List<String>>> highlighting = queryResponse.getHighlighting();//获取高亮内容 System.out.println(highlighting); Set<String> ids = highlighting.keySet();//获取所有的id for (String string : ids) {//循环id Map<String, List<String>> map = highlighting.get(string);//通过id获取document内容 Set<String> keySet = map.keySet();//获取field的名称们 for (String string2 : keySet) {//循环 System.out.println(string2);//title or content List<String> list = map.get(string2);//获取field下的值 for (String string3 : list) { System.out.println(string3);//内容 } } } }

 

solrj 提供获取高亮摘要内容 单独方法 ，返回是Map

map的key是id

map的value是Map<String,List<String>>（key是field的名称，value是高亮摘要内容 ）

SolrQuery详细用法

返回值格式

通过分析抓包，SolrQuery 默认传递wt=javabin参数，通信数据格式是javabin

问题： 能否改变solrj 通信数据格式 ？

通过solrj 解析器设置。完成修改

HttpSolrServer solrServer = new HttpSolrServer("http://192.168.0.250:8080/solr-6.2.0/itcast1"); solrServer.setParser(new XMLResponseParser());

 

返回的field和返回行数

1、设置修改fl参数  （fl参数，需要查询哪些field）

SolrQuery solrQuery = new SolrQuery("方式"); solrQuery.setRows(7); solrQuery.set("fl", "id,title");

1、 通过设置fields

solrQuery.setFields("id","title");

2、 通过添加field

query.addField("id"); query.addField("title");

自定义排序

按照字段排序输出

query.setSort("id", ORDER.asc);