处理 Null 值

回到我们早期的示例,在文档中有一个多值的字段 tags,一个文档可能包含一个或多个标签,或根本没有标签。如果一个字段没有值,它是怎么储存在倒排索引中的?

这是一个取巧的问题,因为答案是它根本没有存储。让我们从看一下前几节的倒排索引:

Token DocIDs
open_source 2
search 1,2

你怎么可能储存一个在数据结构不存在的字段呢?倒排索引是标记和包含它们的文档的一个简单列表。假如一个字段不存在,它就没有任何标记,也就意味着它无法被倒排索引的数据结构表达出来。

本质上来说,null[](空数组)和 [null] 是相等的。它们都不存在于倒排索引中!

显然,这个世界却没有那么简单,数据经常会缺失字段,或包含空值或空数组。为了应对这些情形,Elasticsearch 有一些工具来处理空值或缺失的字段。

exists 过滤器

工具箱中的第一个利器是 exists 过滤器,这个过滤器将返回任何包含这个字段的文档,让我们用标签来举例,索引一些示例文档:

POST /my_index/posts/_bulk
{ "index": { "_id": "1"              }}
{ "tags" : ["search"]                }  <1>
{ "index": { "_id": "2"              }}
{ "tags" : ["search", "open_source"] }  <2>
{ "index": { "_id": "3"              }}
{ "other_field" : "some data"        }  <3>
{ "index": { "_id": "4"              }}
{ "tags" : null                      }  <4>
{ "index": { "_id": "5"              }}
{ "tags" : ["search", null]          }  <5>
  • <1> tags 字段有一个值
  • <2> tags 字段有两个值
  • <3> tags 字段不存在
  • <4> tags 字段被设为 null
  • <5> tags 字段有一个值和一个 null

结果我们 tags 字段的倒排索引看起来将是这样:

Token DocIDs
open_source 2
search 1,2,5

我们的目标是找出所有设置了标签的文档,我们不关心这个标签是什么,只要它存在于文档中就行。在 SQL 语法中,我们可以用 IS NOT NULL 查询:

SELECT tags
FROM   posts
WHERE  tags IS NOT NULL

在 Elasticsearch 中,我们使用 exists 过滤器:

GET /my_index/posts/_search
{
    "query" : {
        "filtered" : {
            "filter" : {
                "exists" : { "field" : "tags" }
            }
        }
    }
}

查询返回三个文档:

"hits" : [
    {
      "_id" :     "1",
      "_score" :  1.0,
      "_source" : { "tags" : ["search"] }
    },
    {
      "_id" :     "5",
      "_score" :  1.0,
      "_source" : { "tags" : ["search", null] } <1>
    },
    {
      "_id" :     "2",
      "_score" :  1.0,
      "_source" : { "tags" : ["search", "open source"] }
    }
]
  • <1> 文档 5 虽然包含了一个 null 值,仍被返回了。这个字段存在是因为一个有值的标签被索引了,所以 null 对这个过滤器没有影响

结果很容易理解,所以在 tags 字段中有值的文档都被返回了。只排除了文档 3 和 4。

missing 过滤器

missing 过滤器本质上是 exists 的反义词:它返回没有特定字段值的文档,像这条 SQL 一样:

SELECT tags
FROM   posts
WHERE  tags IS  NULL

让我们在前面的例子中用 missing 过滤器来取代 exists

GET /my_index/posts/_search
{
    "query" : {
        "filtered" : {
            "filter": {
                "missing" : { "field" : "tags" }
            }
        }
    }
}

如你所愿,我们得到了两个没有包含标签字段的文档:

"hits" : [
    {
      "_id" :     "3",
      "_score" :  1.0,
      "_source" : { "other_field" : "some data" }
    },
    {
      "_id" :     "4",
      "_score" :  1.0,
      "_source" : { "tags" : null }
    }
]

什么时候 null 才表示 null

有时你需要能区分一个字段是没有值,还是被设置为 null。用上面见到的默认行为无法区分这一点,数据都不存在了。幸运的是,我们可以将明确的 null 值用我们选择的占位符 来代替

当指定字符串,数字,布尔值或日期字段的映射时,你可以设置一个 null_value 来处理明确的 null 值。没有值的字段仍将被排除在倒排索引外。

当选定一个合适的 null_value 时,确保以下几点:

  • 它与字段的类型匹配,你不能在 date 类型的字段中使用字符串 null_value
  • 它需要能与这个字段可能包含的正常值区分开来,以避免真实值和 null 值混淆

对象的 exists/missing

existsmissing 过滤器同样能在内联对象上工作,而不仅仅是核心类型。例如下面的文档:

{
   "name" : {
      "first" : "John",
      "last" :  "Smith"
   }
}

你可以检查 name.firstname.last 的存在性,也可以检查 name 的。然而,在【映射】中,我们提到对象在内部被转成扁平化的键值结构,像下面所示:

{
   "name.first" : "John",
   "name.last"  : "Smith"
}

所以我们是怎么使用 existsmissing 来检测 name 字段的呢,这个字段并没有真正存在于倒排索引中。原因是像这样的一个过滤器:

{
    "exists" : { "field" : "name" }
}

实际是这样执行的

{
    "bool": {
        "should": [
            { "exists": { "field": { "name.first" }}},
            { "exists": { "field": { "name.last"  }}}
        ]
    }
}

同样这意味着假如 firstlast 都为空,那么 name 就是不存在的。

下一节:Elasticsearch 主动缓存了这些字节集留作以后使用。一旦缓存后,当遇到相同的过滤时,这些字节集就可以被重用,而不需要重新运算整个过滤。