Kafka 和 Zookeeper 在同一个 Docker Swarm 节点中，关闭重启致 Kafka 报错：… does not match current session
公司产品有K8S版和 Docker Swarm版，kafka和zookeeper在同一个node，两个容器的数… Read More »
Category Archives: 数据处理
Storm 错误排查
1 worker Netty-server-localhost-6700-worker-1 [WARN] Re… Read More »
Zookeeper 会话
1. 会话ID、连接断开、过期、超时概念 客户端和服务器端建立连接后，会生成 SessionId，客户端会定时… Read More »
使用 java jstack 排查 storm 空闲时占用过高 cpu
1. jstack 找出 cpu 过高线程 top 命令可以看到 Storm Workder 进程号是 818… Read More »
Supervisor 内存不足致容器重启（实战篇）
客户那遇 storm 处理日志延迟较为严重问题，然后做了以下调整。 在固定 kafka 分区数 100 的情况… Read More »
Zookeeper 配置参数 – zoo.cfg
1. 官方配置文档 点击进入 2. maxClientCnxns 表示并发连接数，默认值是60，设为0则完全消… Read More »
Storm 和 Kafka 排查性能瓶颈
1. 问题描述 某银行防火墙日志每天的量惊人（TB级别），Storm 来不及处理，Kafka 消息越积越多，问… Read More »
ElasticSearch 笔记
搜索 简单搜索 以 query 开头，内部放匹配语法，如 term、match、multi_match、mat… Read More »
Storm Supervisor 笔记
1. 工作中遇到 Supervisor 一直重启 K8S 里的 Supervisor 容器一直在重启，最终发现… Read More »
ElasticSearch Aggregation
ES7 嵌套分桶的过滤与排序 工作中遇到一个复杂的需求：先根据IP字段为Syslog日志分组，再在每个组中按日… Read More »