kafka 安全
Broker 是什么？ Kafka 控制器组件(Controller) 即Broker, 是Kafka 的核心… Read More »
Category Archives: 数据处理
Logstash 笔记
1. 数组元素必须大于1查询才起作用 最近使用 Linux shell 查询 mongo 数据库，将得到的结果… Read More »
Kafka 容器之 bitnami/kafkaKafka
Kafka 和 Zookeeper 在同一个 Docker Swarm 节点中，关闭重启致 Kafka 报错：… does not match current session
公司产品有K8S版和 Docker Swarm版，kafka和zookeeper在同一个node，两个容器的数… Read More »
Storm 错误排查
1 worker Netty-server-localhost-6700-worker-1 [WARN] Re… Read More »
Zookeeper 会话
1. 会话ID、连接断开、过期、超时概念 客户端和服务器端建立连接后，会生成 SessionId，客户端会定时… Read More »
使用 java jstack 排查 storm 空闲时占用过高 cpu
1. jstack 找出 cpu 过高线程 top 命令可以看到 Storm Workder 进程号是 818… Read More »
Supervisor 内存不足致容器重启（实战篇）
客户那遇 storm 处理日志延迟较为严重问题，然后做了以下调整。 在固定 kafka 分区数 100 的情况… Read More »
Zookeeper 配置参数 – zoo.cfg
1. 官方配置文档 点击进入 2. maxClientCnxns 表示并发连接数，默认值是60，设为0则完全消… Read More »
Storm 和 Kafka 排查性能瓶颈
1. 问题描述 某银行防火墙日志每天的量惊人（TB级别），Storm 来不及处理，Kafka 消息越积越多，问… Read More »