• 首先，标记化一个文本块为适用于倒排索引单独的词(term)
• 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”

• 字符过滤器： 首先字符串经过字符过滤器(character filter) ，它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记，或者转换"&"为"and"。
• 分词器： 下一步，分词器(tokenizer) 被标记化成独立的词。一个简单的分词器(tokenizer) 可以根据空格或逗号将单词分开（译者注：这个在中文中不适用）。
• 标记过滤： 最后，每个词都通过所有标记过滤(token filters) ，它可以修改词（例如将"Quick"转为小写），去掉词（例如停用词像"a"、"and"、"the"等等），或者增加词（例如同义词像"jump"和"leap"）Elasticsearch提供很多开箱即用的字符过滤器，分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。我们将在《自定义分析器》章节详细讨论。
• 内建的分析器： 不过，Elasticsearch还附带了一些预装的分析器，你可以直接使用它们。下面我们列出了最重要的几个分析器，来演示这个字符串分词后的表现差异："Set the shape to semi-transparent by calling set_trans(5)"
• 标准分析器 ：标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（译者注：就是没啥特殊需求，对于任何一个国家的语言，这个分析器就够用了）。它根据Unicode Consortium的定义的单词边界(word boundaries) 来切分文本，然后去掉大部分标点符号。最后，把所有词转为小写。产生的结果为：set, the, shape, to, semi, transparent, by, calling, set_trans, 5
• 简单分析器： 简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：set, the, shape, to, semi, transparent, by, calling, set, trans
• 空格分析器： 空格分析器依据空格切分文本。它不转换小写。产生结果为：Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
• 语言分析器： 特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如，english分析器自带一套英语停用词库——像and或the这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，英语单词的主体含义依旧能被理解（译者注：stem English words这句不知道该如何翻译，查了字典，我理解的大概意思应该是将英语语句比作一株植物，去掉无用的枝叶，主干依旧存在，停用词好比枝叶，存在与否并不影响对这句话的理解。）。english分析器将会产生以下结果：set, shape, semi, transpar, call, set_tran, 5。注意"transparent"、"calling"和"set_trans"是如何转为词干的。

• 全文查询我们将在稍后讨论，理解每个字段是如何定义的，这样才可以让它们做正确的事：
  • 当你查询全文(full text) 字段，查询将使用相同的分析器来分析查询字符串，以产生正确的词列表。
  • 当你查询一个确切值(exact value) 字段，查询将不分析查询字符串，但是你可以自己指定。
• 现在你可以明白为什么《映射和分析》的开头会产生那种结果：
  • date字段包含一个确切值：单独的一个词"2014-09-15"。
  • _all字段是一个全文字段，所以分析过程将日期转为三个词："2014"、"09"和"15"。
• 当我们在_all字段查询2014，它一个匹配到12条推文，因为这些推文都包含词2014：

  GET /_search?q=2014              # 12 results
  

• 当我们在_all字段中查询2014-09-15，首先分析查询字符串，产生匹配任一 词2014、09或15的查询语句，它依旧匹配12个推文，因为它们都包含词2014。

  GET /_search?q=2014-09-15        # 12 results !
  

• 当我们在date字段中查询2014-09-15，它查询一个确切 的日期，然后只找到一条推文：

  GET /_search?q=date:2014-09-15   # 1  result
  

• 当我们在date字段中查询2014，没有找到文档，因为没有文档包含那个确切的日期：

  GET /_search?q=date:2014         # 0  results !
  

• 结果中每个节点在代表一个词：

  {
     "tokens": [
        {
           "token":        "text",
           "start_offset": 0,
           "end_offset":   4,
           "type":         "<ALPHANUM>",
           "position":     1
        },
        {
           "token":        "to",
           "start_offset": 5,
           "end_offset":   7,
           "type":         "<ALPHANUM>",
           "position":     2
        },
        {
           "token":        "analyze",
           "start_offset": 8,
           "end_offset":   15,
           "type":         "<ALPHANUM>",
           "position":     3
        }
     ]
  }
  

• token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offset和end_offset表示词在原文本中占据的位置。
• analyze API 对于理解Elasticsearch索引的内在细节是个非常有用的工具，随着内容的推进，我们将继续讨论它。

• 当Elasticsearch在你的文档中探测到一个新的字符串字段，它将自动设置它为全文string字段并用standard分析器分析。
• 你不可能总是想要这样做。也许你想使用一个更适合这个数据的语言分析器。或者，你只想把字符串字段当作一个普通的字段——不做任何分析，只存储确切值，就像字符串类型的用户ID或者内部状态字段或者标签。
• 为了达到这种效果，我们必须通过映射(mapping) 人工设置这些字段。

注意

这意味着，如果你索引一个带引号的数字——"123"，它将被映射为"string"类型，而不是"long"类型。然而，如果字段已经被映射为"long"类型，Elasticsearch将尝试转换字符串为long，并在转换失败时会抛出异常。

• 我们可以使用_mapping后缀来查看Elasticsearch中的映射。在本章开始我们已经找到索引gb类型tweet中的映射：GET /gb/_mapping/tweet
• 这展示给了我们字段的映射（叫做属性(properties) ），这些映射是Elasticsearch在创建索引时动态生成的：

  {
     "gb": {
        "mappings": {
           "tweet": {
              "properties": {
                 "date": {
                    "type": "date",
                    "format": "strict_date_optional_time||epoch_millis"
                 },
                 "name": {
                    "type": "string"
                 },
                 "tweet": {
                    "type": "string"
                 },
                 "user_id": {
                    "type": "long"
                 }
              }
           }
        }
     }
  }
  

小提示

错误的映射，例如把age字段映射为string类型而不是integer类型，会造成查询结果混乱。

要检查映射类型，而不是假设它是正确的！

• 区分全文（full text）字符串字段和准确字符串字段（译者注：就是分词与不分词，全文的一般要分词，准确的就不需要分词，比如『中国』这个词。全文会分成『中』和『国』，但作为一个国家标识的时候我们是不需要分词的，所以它就应该是一个准确的字符串字段）。
• 使用特定语言的分析器（译者注：例如中文、英文、阿拉伯语，不同文字的断字、断词方式的差异）
• 优化部分匹配字段
• 指定自定义日期格式（译者注：这个比较好理解,例如英文的 Feb,12,2016 和 中文的 2016年2月12日）
• 以及更多

{
    "number_of_clicks": {
        "type": "integer"
    }
}

• string类型字段默认值是analyzed。如果我们想映射字段为确切值，我们需要设置它为not_analyzed：

  {
      "tag": {
          "type":     "string",
          "index":    "not_analyzed"
      }
  }
  

其他简单类型（long、double、date等等）也接受index参数，但相应的值只能是no和not_analyzed，它们的值不能被分析。

{
    "tweet": {
        "type":     "string",
        "analyzer": "english"
    }
}

重要

你可以向已有映射中增加 字段，但你不能修改 它。如果一个字段在映射中已经存在，这可能意味着那个字段的数据已经被索引。如果你改变了字段映射，那已经被索引的数据将错误并且不能被正确的搜索到。

• 为了演示两个指定的映射方法，让我们首先删除索引gb：DELETE /gb
• 然后创建一个新索引，指定tweet字段的分析器为english：

  PUT /gb <1>
  {
    "mappings": {
      "tweet" : {
        "properties" : {
          "tweet" : {
            "type" :    "string",
            "analyzer": "english"
          },
          "date" : {
            "type" :   "date"
          },
          "name" : {
            "type" :   "string"
          },
          "user_id" : {
            "type" :   "long"
          }
        }
      }
    }
  }
  

• <1> 这将创建包含mappings的索引，映射在请求体中指定。
• 再后来，我们决定在tweet的映射中增加一个新的not_analyzed类型的文本字段，叫做tag，使用_mapping后缀:

  PUT /gb/_mapping/tweet
  {
    "properties" : {
      "tag" : {
        "type" :    "string",
        "index":    "not_analyzed"
      }
    }
  }
  

• 注意到我们不再需要列出所有的已经存在的字段，因为我们没法修改他们。我们的新字段已经被合并至存在的那个映射中。

• 你可以通过名字使用analyze API测试字符串字段的映射。对比这两个请求的输出：

  GET /gb/_analyze?field=tweet&text=Black-cats <1>
  GET /gb/_analyze?field=tag&text=Black-cats <2>
  

• <1> <2> 我们想要分析的文本被放在请求体中。
• tweet字段产生两个词，"black"和"cat",tag字段产生单独的一个词"Black-cats"。换言之，我们的映射工作正常。