监控实时分布式消息传递平台NSQ Grafana新的集成的云

维塔利Zhuravlev

• 2022年3月7日, •4分钟

今天,我兴奋地介绍NSQ集成可用Grafana云我们的平台,汇集了所有的指标,日志和跟踪Grafana完整的可观测性。

NSQ是一个实时的分布式消息传递平台运作大型设计,每天处理数十亿的消息。这是一个简单的和轻量级替代其他消息队列,如卡夫卡,RabbitMQ或ActiveMQ。

这将指导你如何获得最大的集成。

开始

NSQ可以发出其指标StatsD守护进程,不支持普罗米修斯标准格式本身。Grafana云指标同时支持石墨和普罗米修斯时间序列数据库,所以推动指标Grafana云我们有三个选择:

运行statsd nsqd附近守护进程和继电器指标石墨
使用社区普罗米修斯nsq出口国
使用Grafana代理普罗米修斯statsd指标转换成格式来存储它们Grafana云普罗米修斯

这种集成我们选择最后一个选项,因为如果我们使用普罗米修斯,我们可以补充指标预警跟踪nsq主题队列堆积了。这也使得部署健壮,因为你很可能已经在使用一个通用Grafana代理所有类型的可观察性数据(指标、日志和跟踪)Grafana云。

为了使集成工作,点nsqdGrafana代理与-statsd-address像这样:

nsqd -statsd-address = agent.default.svc.cluster.local: 9125 \ -e2e-processing-latency-percentile = 1.0, 0.99, 0.95 \ -e2e-processing-latency-window-time = 1 mo

和配置Grafana代理的嵌入式statsd_exporter以下方式:

集成:statsd_exporter:启用:真metric_relabel_configs: source_labels: [exported_job] target_label:工作替代:“集成/ 1美元”——source_labels: [exported_instance] target_label:实例-正则表达式:(exported_instance | exported_job)行动:labeldrop mapping_config:违约:match_type:一滴glob_disable_ordering:假ttl: 1 m30映射:-匹配:“nsq。* * .channel .topic。*。message_count”的名字:“nsq_topic_channel_message_count”match_metric_type:计数器标签:实例:“$ 1”工作:nsq”主题:“2”频道:“3美元-匹配:nsq。* * .channel .topic。*。requeue_count”的名字:“nsq_topic_channel_requeue_count”match_metric_type:计数器标签:实例:“$ 1”工作:nsq”主题:“2”频道:“3美元-匹配:nsq。* * .channel .topic。*。timeout_count”的名字:“nsq_topic_channel_timeout_count”match_metric_type:计数器标签:实例:“$ 1”工作:nsq”主题:“2”频道:“3美元-匹配:nsq。* * .channel .topic。*。*”的名字:“nsq_topic_channel_ $ {4}“match_metric_type:规标签:实例:“$ 1”工作:nsq”主题:“2美元3美元“频道:# nsq。< nsq_host > _ < nsq_port > .topic。< topic_name >。backend_depth[计]-匹配:nsq。* .topic。*。message_count”的名字:“nsq_topic_message_count”为主题的消息帮助:总数match_metric_type:计数器标签:实例:“$ 1”工作:nsq”主题:“2美元-匹配:nsq。* .topic。*。message_bytes”的名字:“nsq_topic_message_bytes”帮助:match_metric_type所有消息的字节总数:计数器标签:实例:“$ 1”工作:nsq”主题:“2美元-匹配:nsq。* .topic。*。*”#深度、backend_depth和e2e_processing_latency_ < % >名称:“nsq_topic_ $ {3}“match_metric_type:规标签:实例:“$ 1”工作:nsq 2美元的“话题:# mem # nsq。< nsq_host > _ < nsq_port > .mem。gc_runs -匹配:“nsq * .mem。。gc_runs”的名字:“nsq_mem_gc_runs”match_metric_type:计数器标签:实例:“$ 1”工作:nsq -匹配:nsq。* .mem。*”的名字:“nsq_mem_ $ {2}“match_metric_type:规标签:实例:“$ 1”工作:nsq

你都准备好了!