博客/工程

得到全面的监控您的Apache卡夫卡迅速与Grafana云生态系统实例

2021年7月26日, 3分钟

我们很高兴宣布,卡夫卡集成是可用的Grafana云,我们可组合可观测性平台结合指标,与Grafana日志和跟踪。

Apache卡夫卡是一个开源的分布式事件流媒体平台,提供高性能的数据管道,流分析、数据集成和关键任务的应用程序。卡夫卡是最常用的事件流媒体平台在世界范围内,及其生态系统包括数据治理的各种作品,查询、批处理和连接器。

我们Grafana云集成,这在很大程度上基于这篇文章从支流给你提供仪表板,卡夫卡代理集群,集群管理员,卡夫卡连接集群,集群模式注册表,和ksqldb集群,以及一个特定的主题信息的仪表板和消费滞后。

大部分的仪表板依靠收集数据通过JMX出口国与卡夫卡组件的每个实例运行,作为代理。只由一个滞后消费仪表板外部出口国,这是嵌入式的Grafana代理为便于使用。上的细节如何配置JMX出口商和Grafana代理可以找到吗

下面是一个简短的解释每一个仪表板。

卡夫卡的概述

这是一个全面的仪表板显示卡夫卡集群的整体健康,包括集群中有多少经纪人活着;为你的分区指标;JVM、吞吐量、请求和响应队列大小;动物园管理员联系;和生产者和消费者的指标。

课题概述

这个指示板提供了深入了解每个主题的健康和显示了吞吐量在字节的消息数量以及补偿。

卡夫卡滞后概述

这个指示板显示每个主题的消费滞后,包括补偿滞后量,估计时间在几秒钟内,每分钟消息吞吐量和第二。这是美联储的外部出口国,这是嵌入在Grafana代理。

动物园管理员概述

这个指示板给你管理员集群的一般概述,重点JMV指标,网上的节点数量,活跃的连接,和吞吐量。

注册表模式概述

这个指示板集中在模式注册表,显示注册,创建,删除模式JMV和吞吐量指标。

卡夫卡连接概述

本仪表板的重点是卡夫卡连接任务,显示有多少任务运行,停顿了一下,失败,未赋值的,毁了。下降,面板显示更多技术细节关于你的任务,如网络、IO、身份验证、和连接统计,随着批量大小,抵消,错误和任务指标。仪表板也显示了你的整体健康卡夫卡连接JVM集群。

KSqlDB概述

这是一个全面的仪表板覆盖大范围的ksqldb集群指标:活跃的数量,运行,停止,和闲置;每个查询的状态;集群的生活;消息吞吐量;JMV指标;和更多。

开始吧!

与卡夫卡的集成现在Grafana云用户可用。

如果你不是已经在使用Grafana云,我们有新的免费和付费计划以适应每个用例-现在免费注册。这是最简单的方法开始观察指标,日志、痕迹和仪表板。

更多信息监控和报警Grafana云和卡夫卡,查看我们的文档或者加入#集成通道Grafana社区松弛。

让我们知道你的想法

请继续关注未来的内容关于如何最好地利用Grafana云集成。和告诉我们你想见!你可以和云集成团队对我们的聊天社区松弛