短语 VS 全文

全文检索最重要的两个方面是:

  • 相关度(Relevance) 根据文档与查询的相关程度对结果集进行排序的能力。相关度可以使用TF/IDF、地理位置相近程度、模糊相似度或其他算法计算。
  • 分析(Analysis) 将一段文本转换为一组唯一的、标准化了的标记(token),用以(a)创建倒排索引,(b)查询倒排索引。

注意,一旦提到相关度和分析,指的都是查询(queries)而非过滤器(filters)。

基于短语 vs. 全文

虽然所有的查询都会进行相关度计算,但不是所有的查询都有分析阶段。而且像boolfunction_score这样的查询并不在文本字段执行。文本查询可以分为两大类:

1. 基于短语(Term-based)的查询:

termfuzzy一类的查询是低级查询,它们没有分析阶段。这些查询在单一的短语上执行。例如对单词'Foo'term查询会在倒排索引里精确地 查找'Foo'这个词,并对每个包含这个单词的文档计算TF/IDF相关度'_score'

牢记term查询只在倒排查询里精确地查找特定短语,而不会匹配短语的其它变形,如fooFOO。不管短语怎样被加入索引,都只匹配倒排索引里的准确值。如果你在一个设置了'not_analyzed'的字段为'["Foo", "Bar"]'建索引,或者在一个用'whitespace'解析器解析的字段为'Foo Bar'建索引,都会在倒排索引里加入两个索引'Foo''Bar'

2. 全文(Full-text)检索

matchquery_string这样的查询是高级查询,它们会对字段进行分析:

  • 如果检索一个'date''integer'字段,它们会把查询语句作为日期或者整数格式数据。
  • 如果检索一个准确值('not_analyzed')字符串字段,它们会把整个查询语句作为一个短语。
  • 如果检索一个全文('analyzed')字段,查询会先用适当的解析器解析查询语句,产生需要查询的短语列表。然后对列表中的每个短语执行低级查询,合并查询结果,得到最终的文档相关度。 我们将会在后续章节讨论这一过程的细节。

我们很少需要直接使用基于短语的查询。通常我们会想要检索全文,而不是单独的短语,使用高级的全文检索会更简单(全文检索内部最终还是使用基于短语的查询)。

提示

如果确实要查询一个准确值字段('not_analyzed'),需要考虑使用查询还是过滤器。单一短语的查询通常相当于是/否 问题,用过滤器可以更好的描述这类查询,并且过滤器缓存可以提升性能:

GET /_search
{
    "query": {
        "filtered": {
            "filter": {
                "term": { "gender": "female" }
            }
        }
    }
}
下一节:不管你搜索什么内容,match查询是你首先需要接触的查询。它是一个高级查询,意味着match查询知道如何更好的处理全文检索和准确值检索。

这也就是说,match查询的一个主要用途是进行全文搜索。让我们通过一个小例子来看一下全文搜索是如何工作的。