es分词插件使用

未分类

使用

安装

方法1. bin/elasticsearch-plugin install file:///Users/xiaoming/Download/analysis-hupu.zip
方法2. 解压后，放在es plugins目录即可。

自定义分词器

下面是自定义分词器可用的配置项

HupuAnalyzer.cfg.xml 配置

词库说明

优先读取 {ES_HOME}/config/analysis-hupu/目录，没有读取 {ES_HOME}/plugins/analysis-hupu/config目录下的文件

• 基础词库
  基础词库是freq.json,是一个json文件，key为词，value为词频（int)。是可以修改的，可以添加词，可以修改词频。
  例如：奋发图强 分词结果是 奋, 发图, 强, 是因为发图这个词的词频太高了（因为出现次数高），则可以降低词频，手动修改freq.json文件就好了。
• 远程词库
  用户自定义词库会按照配置的时间和周期定期执行。
  从远程词库更新完成后会自动覆盖现在的customerDictionaryFile。
  远程词库的文件格式每行格式为 {词},{词频},{是否元词}, 例如俄罗斯,1000,1。
  是否元词字段解释：
  1代表是元词，不会再细拆分，俄罗斯不会再拆分成俄和罗斯（罗斯是常用人名）。这样搜罗斯就不会把俄罗斯相关文档召回。
  0就是可以继续细拆分，比如请给我一个冰淇淋

示例索引demo

建索引：

PUT test/
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "search_analyzer": {
            "filter": [
              "lowercase"
            ],
            "char_filter": [
              "html_strip"
            ],
            "type": "custom",
            "tokenizer": "my_search_token"
          },
          "title_analyzer": {
            "filter": [
              "lowercase"
            ],
            "char_filter": [
              "html_strip"
            ],
            "type": "custom",
            "tokenizer": "my_title_index_token"
          }
        },
        "tokenizer": {
          "my_title_index_token": {
            "enableOOV": "false",
            "enableFailDingMsg": "true",
            "type": "hupu_index_mode",
            "enableSingleWord": "true",
            "enableFallBack": "true"
          },
          "my_search_token": {
            "enableOOV": "false",
            "enableFailDingMsg": "true",
            "type": "hupu_search_mode",
            "enableSingleWord": "true",
            "enableFallBack": "true"
          }
        }
      },
      "number_of_replicas": "0"
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "index_options": "offsets",
        "analyzer": "title_analyzer",
        "search_analyzer": "search_analyzer"
      }
    }
  }
}

测试分词

test/_analyze
{
  "analyzer": "title_analyzer",
  "text": "奋发图强打篮球有利于提高人民生活，有的放矢，中华人民共和国家庭宣传委员会宣。🐶"
}
test/_analyze
{
  "analyzer": "search_analyzer",
  "text": "奋发图强打篮球有利于提高人民生活，有的放矢，中华人民共和国家庭宣传委员会宣。🐶"
}

性能测试

配置：1.4 GHz 四核Intel Core i5
单线程每秒166w字（不开启模型预测的情况下，开启模型预测就很慢了）

和IK对比

示例文本：
1. 任性冲动过,幻想时光会倒流
2. 不过，从图形看，三房巷形成一个极小的上升三角形，最多涨到下周三，涨幅不超百分之七

可自行对比测试。