ElasticSearch 嵌套分桶的过滤与排序

By | 2022年1月11日

工作中遇到一个复杂的需求:先根据IP字段为Syslog日志分组,再在每个组中按日志类型(思科路由器、华为防火墙、Jinper防火墙等)分组,但是却没有日志类型的字段,并且要实现多字段排序,另外 Java端还要根据IP、日志类型过滤。下面直接贴参考语法。

第1步:首先来解决嵌套分组

上面的查询语句按IP分了三个桶,分别是 192.168.1.157、192.168.1.158other_hosts,接着在每个IP桶里又嵌套了3个日志类型的桶,分别是 log_type1、log_type2、other_categories

圈出来的地方是要根据客户在页面上的选择进行过滤的,需要在 Java 查询代码里动态设置。

由于日志类型的桶在 ElasticSearch 数据库中是没有字段的,因此这里使用了 match 匹配,匹配到某一类的都归那类日志。

第2步:嵌套统计与多字段排序

有了上面的知识,我们再来看实际的代码,无非加了统计数量和排序:

请求

{
  "size": 0,
  "aggs" : {
    "a1" : {
      "filters" : {
        "other_bucket_key": "other_hosts",
        "filters" : {
          "192_168_1_157" : { "term" : { "host" : "192.168.1.247"   }},
          "192_168_1_247" : { "term" : { "host" : "192.168.1.249"   }}
        }
      },
      "aggs": {
        "doc_count2": { "value_count": { "field": "host" } },
        "a2" : {
          "filters" : {
            "other_bucket_key": "other_categories",
            "filters" : {
              "log_type1" : { "match_phrase" : { "message" : "type=conn" }},
              "log_type2" : { "match_phrase" : { "message" : "type pf" }},
              "log_type3" : { "bool": {
                                "should": [
                                  { "match_phrase": { "message":  "type pf" }},
                                  { "match_phrase": { "message": "type=conn"   }}
                                ]
                            }
              }
            }
          },
                    
          "aggs": {
            "doc_count3": { "value_count": { "field": "host" } },
            "sales_bucket_sort2": {
              "bucket_sort": {
                "sort": [
                  { "doc_count3": { "order": "asc" } } 
                ]                            
              }
            }
          }
      
        },
        "sales_bucket_sort": {
          "bucket_sort": {
            "sort": [
              { "doc_count2": { "order": "asc" } } 
            ]                            
          }
        }
      }
    }
  }
}

结果

{
  "took" : 523,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2239,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "a1" : {
      "buckets" : {
        "192_168_1_157" : {
          "doc_count" : 4,
          "a2" : {
            "buckets" : {
              "other_categories" : {
                "doc_count" : 4,
                "doc_count3" : {
                  "value" : 4
                }
              }
            }
          },
          "doc_count2" : {
            "value" : 4
          }
        },
        "other_hosts" : {
          "doc_count" : 8,
          "a2" : {
            "buckets" : {
              "other_categories" : {
                "doc_count" : 8,
                "doc_count3" : {
                  "value" : 8
                }
              }
            }
          },
          "doc_count2" : {
            "value" : 8
          }
        },
        "192_168_1_247" : {
          "doc_count" : 2227,
          "a2" : {
            "buckets" : {
              "log_type1" : {
                "doc_count" : 33,
                "doc_count3" : {
                  "value" : 33
                }
              },
              "other_categories" : {
                "doc_count" : 126,
                "doc_count3" : {
                  "value" : 126
                }
              },
              "log_type2" : {
                "doc_count" : 2068,
                "doc_count3" : {
                  "value" : 2068
                }
              },
              "log_type3" : {
                "doc_count" : 2101,
                "doc_count3" : {
                  "value" : 2101
                }
              }
            }
          },
          "doc_count2" : {
            "value" : 2227
          }
        }
      }
    }
  }
}

上面的 doc_count2 存储了每个IP桶里有多少条数据, doc_count3 则存储了每个IP桶里的每个日志类型桶里有多少条数据。 另外我在 doc_count2 上进行了 asc 排序,在 doc_count3 也进行了 asc 排序,这和关系数据库里的多字段排序是一个意思,先按 doc_count2 排,再按 doc_count3 排。

发表评论

您的电子邮箱地址不会被公开。