卡夫卡集成Grafana云

卡夫卡是一个开源的分布式事件流媒体平台用于高性能的数据管道,流分析、数据集成和关键任务的应用程序。

卡夫卡集成Grafana云提供了一组仪表盘和警报监控的主要资源与卡夫卡集群部署,如卡夫卡实例,动物园管理员实例,卡夫卡连接,注册表模式,KSql。消息滞后的集成还提供了额外的仪表板和主题监测以及8警报临界情况。

安装卡夫卡集成Grafana云

在你Grafana云实例,请单击集成和连接(闪电图标),然后搜索或浏览卡夫卡瓷砖。
单击卡夫卡瓷砖然后单击安装集成
一旦安装集成,遵循的步骤配置细节页面设置Grafana代理自动刮和卡夫卡指标发送给您的Grafana云实例。

安装后配置卡夫卡集成

建议你配置一个独立的用户对于Grafana代理只给它严格强制性安全监测节点所需的特权。有关更多信息,请参见卡夫卡滞后出口国documentaion。

配置JMX出口商

为了集成工作,你都必须在每个实例上配置一个JMX出口国组成卡夫卡集群,包括所有的经纪人,动物园的工作人员们,KSqlDB、模式注册中心和卡夫卡连接节点。

大部分的仪表板提供依赖于数据收集通过JMX出口国JMV卡夫卡与每个实例的运行组件,作为java代理。这种集成,JMX出口国用于每个卡夫卡作品被监视。使用测试版本0.12.0这出口国。

有关如何配置您的JVM卡夫卡的更多信息,请参考JMX出口国文档。

看到下面的卡夫卡集成配置文件:

配置Grafana代理

为了监控滞后消费,确保Grafana 0.17.0代理更新版本或更高。滞后消费仪表板是由外部出口国,这是嵌入在Grafana代理易用性。使用最新版本的Grafana代理来启用它。参考下面的例子代理配置:

集成:kafka_exporter:启用:真正的实例:your_instance_name kafka_uris: - your_kafka_instance_dns: 9092 scrape_integration:真正scrape_interval: 15秒

如果你ConfigMap修改代理,你将需要重新启动代理Pod的配置更改生效。使用kubectl推出重新启动代理:

美元kubectl推出重启部署/ grafana-agent

有关更多信息,请参见kafka_exporter_configGrafana代理文档。

指示板

卡夫卡集成Grafana云提供了七个预先配置的仪表板来监督你的卡夫卡集群。以下指示板提供了这种集成:

卡夫卡的概述

这个指示板提供了一个全面的视图卡夫卡集群的整体健康,包括集群中有多少经纪人活着;为你的分区指标;JVM、吞吐量、请求、响应队列的大小,动物园管理员联系,生产国和消费国指标。

卡夫卡连接概述

这个指示板是专注于卡夫卡连接任务。您可以查看有多少任务运行,停顿了一下,失败,未赋值的,毁了。有额外的面板显示更多关于你的任务的技术细节,如网络、IO、身份验证、和连接统计,随着批量大小,抵消,错误和任务指标。仪表板也显示了你的整体健康卡夫卡连接JVM集群。

KSqlDB概述

这是一个全面的仪表板,提供了一系列KSqlDB集群指标:活跃的数量,运行,停止,和闲置;每个查询的状态;集群的生活;消息吞吐量;JMV指标;和更多。

卡夫卡模式注册概述

这个指示板是专注于卡夫卡模式注册表。它提供了相关指标的数量登记,创建,删除模式JMV和吞吐量指标。

卡夫卡主题概述

这个指示板提供了深入了解每个主题健康和显示了吞吐量在字节的消息数量以及补偿。

卡夫卡滞后概述

这个指示板显示每个主题的消费滞后,包括补偿滞后量,估计时间在几秒钟内,每分钟消息吞吐量和第二。这是美联储的外部出口国,这是嵌入在Grafana代理。

动物园管理员概述

这个指示板提供了一个总体概述你的动物园管理员集群。它关注JMV指标,网上的节点数量,活跃的连接,和吞吐量。

配置警报

之间的集成提供了8警报,警告和严重级别:

警报	描述
OfflinePartitonCount	关键:分区OfflinePartition状态。离线分区不能用于阅读和写作。
UnderReplicatedPartitionCount	关键:一个或多个副本并不可用。这通常是由于代理。
ActiveController	关键:不主动控制器在最后5分钟的间隔。
UncleanLeaderElection	关键:不洁净分区集群中的领袖选举报道在过去1分钟间隔。unclean.leader.election设置代理配置参数。启用为false。
ISRExpandRate	警告:ISR膨胀率> 0。如果经常ISR扩张和收缩,调整允许复制滞后。
ISRShrinkRate	警告:ISR收缩速率> 0。如果经常ISR扩张和收缩,调整允许复制滞后。
BrokerCount	关键:代理数是0。
ZookeeperSyncConnect	警告:饲养员断开连接的同步。

成本

通过连接卡夫卡集成Grafana云你可能招致的指控。有关更多信息,请使用以下链接:

活动系列的数量的增加,你的Grafana云账户用途指标包括在每个云层,明白了活跃的系列和数据处理机使用和云线价格。