博客/工程

如何监视您的Apache火花集群Grafana云

2022年3月9日 3分钟

在Grafanabob电竞频道实验室,当我们的建筑集成Grafana云我们经常思考如何帮助用户开始在他们的可观测性的旅程。我们要关注我们的一些您可能遇到的不同的技术。这样,我们可以分享我们的技巧最好的互动方式与他们当你使用Grafana实验室产品。bob电竞频道bob手机app官网

在这篇文章中,我将关注最内的平台使用Apache的家庭,火花,并讲解如何使用新的Apache火花集成Grafana云。(没有Grafana云账户?现在免费注册!)

最基本的

简单地说,Apache火花是一个功能强大的数据处理框架,可以快速处理大数据集和分布工作负载在多个实例。

随着快速,火花也灵活。它可以以多种方式部署,提供了Java本机绑定,Scala, Python,和R编程语言,并支持SQL,流媒体数据,机器学习,图像处理。

由于所有这些权力,它已成为一个关键的开源分布式数据处理系统开发人员。

监视Apache火花Grafana云

一个Apache火花应用程序主要由3部分组成:驱动程序,负责运行应用程序的main()函数和内分配执行人进程工作者节点分配的集群管理器。关于火花集群部署架构的更多信息,请参考集群模式概述文档

第一个版本的Apache火花集成Grafana云,我们专注于工作节点,因为他们负责做这项工作。我们计划发布新的版本的集成,其中也包括仪表板监控驱动程序。

这种集成基于内置的普罗米修斯插件,可以从版本3.0以上,应该启用后文档本教程通过dzlab可能是有用的。

下一步是配置Grafana代理刮你的Apache火花节点。请参考火花集成文档获取详细信息。

集成由一个仪表板,给你一个统一的概述工作节点的状态和运行的工作,包括活动工作的统计、计算集群上的工人,工人使用的计算核心,内存consumption-related指标等等。

Apache火花集成Grafana云:工人节点仪表板。
Apache火花集成Grafana云:工人节点仪表板。

给Apache火花集成Grafana云一试,并让我们知道你的想法或分享你的反馈在你认为其他功能将有助于充分观察火花集群。你可以向我们伸出援手bob电竞频道Grafana实验室松弛社区通过#集成。

Grafana云是最简单的方法开始使用指标、日志、痕迹和仪表板。我们有一个慷慨的自由永远层和每个用例的bob体育手机二维码计划。现在免费注册!


在这一页上
滚动的更多