博客/工程

如何用Grafana Cloud监视Apache Spark群集


在Grafanabob电竞频道 Labs,当我们建造时Grafana云集成,我们经常考虑如何帮助用户开始观察性旅程。我们喜欢将一些注意力集中在您可能会遇到的不同技术上。这样,我们可以在使用Grafana Labs产品时分享有关与它们互动的最佳方法的提示。bob电竞频道bob手机app官网

在这篇文章中,我将重点关注Apache家族中最常用的平台之一,并引导您了解如何使用新的Apache Spark集成对于Grafana Cloud。(没有Grafana云帐户?现在免费注册

基础知识

简单的说,Apache Spark是一个强大的数据处理框架,可以快速处理大型数据集并在多个实例上分配工作负载。

随着快速的速度,火花也很灵活。它可以通过多种方式部署,为Java,Scala,Python和R编程语言提供本机绑定,并支持SQL,流数据,机器学习和图形处理。

由于所有这些功能,它已成为开发人员的关键开源分布式数据处理系统之一。

用Grafana云监视Apache Spark

Apache Spark应用程序主要由3个组件组成:驱动程序程序,负责运行应用程序的主()函数,并在该应用程序中分配执行程序进程工人节点集群管理器。有关火花集群部署体系结构的更多信息,请参考集群模式概述文档

借助Grafana Cloud的Apache Spark集成的第一个版本,我们专注于工人节点,因为它们负责实际完成工作。我们计划在道路上发布此集成的新版本,其中还包括仪表板以监视驾驶员程序。

此集成基于内置的Prometheus插件,该插件可从3.0版本上获得,应按照文档本教程经过dzlab可能也有帮助。

下一步是配置Grafana代理刮擦您的Apache火花节点。请参考火花集成文档有关详细信息。

集成由一个仪表板组成,该仪表板为您提供了统一的概述工人节点状态和与之并肩运行的作业的统一概述,包括活跃的作业计数,群集上的工人计数,工人使用的计数核心,记忆消耗,记忆消耗- 相关指标等等。

Grafana云的Apache Spark集成:工人节点仪表板。

尝试一下Grafana Cloud的Apache Spark集成,并让我们知道您的想法或分享您认为您认为其他功能的反馈,这将有助于完全观察Spark簇。你可以在我们的bob电竞频道Grafana Labs Slack社区通过#Integration。

Grafana Cloud是开始使用指标,日志,痕迹和仪表板的最简单方法。我们有一个慷慨的永久级别,并为每种用例bob体育手机二维码提供​​计划。现在免费注册