博客/工程

使用Grafana Cloud快速对Apache Kafka生态系统实例进行全面监控

2021年7月26日3分钟

我们很高兴地宣布,Kafka集成是可用的Grafana云,我们的可组合观测平台将度量、日志和跟踪与Grafana结合在一起。

Apache卡夫卡是一个开源的分布式事件流平台,提供高性能数据管道、流分析、数据集成和关键任务应用程序。Kafka是全球使用最多的事件流平台,它的生态系统包括各种各样的数据治理、查询、批处理和连接器。

我们的Grafana云集成,主要是基于这篇文章来自Confluent,为您的Kafka Broker集群,Zookeeper集群,Kafka Connect集群,Schema Registry集群和ksqldb集群提供了仪表板,以及主题信息和消费滞后的特定仪表板。

大多数仪表板依赖于通过运行在Kafka组件的每个实例旁边的JMX导出器(作为代理)收集数据。控件提供的只有滞后消耗仪表盘外部出口国,这是嵌入的Grafana代理为了方便使用。详情请参阅如何配置JMX出口商和Grafana代理可以在这里找到

下面是每个仪表板的简要说明。

卡夫卡的概述

这是一个全面的仪表盘,显示您的Kafka集群的整体健康状况,包括集群中有多少经纪人是活跃的;分区的指标;JVM、吞吐量、请求和响应队列大小;动物园管理员联系;以及生产者和消费者的指标。

课题概述

此指示板深入了解每个主题的运行状况,并显示以字节和消息数量为单位的吞吐量以及偏移量。

Kafka延迟概述

此指示板显示每个主题的消耗滞后,包括数量上的偏移滞后、以秒为单位的估计时间以及每分钟和每秒的消息吞吐量。它是由外部出口国,嵌入在Grafana Agent中。

动物园管理员概述

这个仪表板为您提供了Zookeeper集群的总体概述,重点关注JMV指标、在线节点数量、活动连接和吞吐量。

架构注册表概述

这个仪表板主要关注模式注册表,显示已注册、创建和删除模式的数量以及JMV和吞吐量指标。

Kafka Connect概述

这个仪表板主要关注Kafka Connect任务,显示有多少任务正在运行、暂停、失败、未分配和销毁。往下看,面板显示有关任务的更多技术细节,例如网络、IO、身份验证和连接统计信息,以及批处理大小、偏移量和任务错误度量。仪表板还显示了Kafka Connect集群JVM的总体健康状况。

KSqlDB概述

这是一个全面的仪表板,涵盖了ksqldb集群指标的很大范围:活动、运行、停止和空闲的数量;每个查询的状态;生命的你簇拥;消息吞吐量;JMV指标;和更多。

开始吧!

与Kafka集成现在可供Grafana Cloud用户使用。

如果你还没有使用Grafana Cloud,我们有新的免费和付费计划,以适应每一个用例-现在免费注册.这是开始观察指标、日志、跟踪和仪表板的最简单方法。

有关在Grafana Cloud和Kafka上监控和警报的更多信息,查看我们的文档或者加入Grafana社区Slack的#integration频道。

让我们知道你的想法

请继续关注关于如何最好地利用Grafana Cloud集成的后续内容。告诉我们你想看什么!您可以在我们的网站上与云集成团队聊天社区松弛