博客/工程

使用新的用于Grafana的Amazon Athena插件查询和分析Amazon S3数据

2021年12月13日3分钟

本文由Sarah Zinger和Robbie Rolins共同撰写,Sarah Zinger是Grafana研发部门的软件工程师,她是云数据源团队的一员,负责构建开放源码数据源插件,将Grafana与主要的云供应商连接起来。Robbie Rolins是Amazon Managed Grafana团队的软件开发工程师。


在AWS团队的合作下,我们最近为Grafana发布了新的Athena数据源插件。

雅典娜是一个交互式的无服务器服务,使用标准SQL可以很容易地分析Amazon S3中的数据。Athena支持多种数据格式,包括CSV、JSON、ORC、Arvo和Parquet。Athena还集成了AWS Glue数据目录,它允许您基于的中央元数据存储创建表和查询数据许多AWS服务,例如CloudFront、ELB等。Athena是对S3中的数据运行特别查询而不需要设置或管理服务器的最简单方法。

现在有了这个插件,用户可以在Grafana中可视化他们所有的Athena查询,充分利用Grafana提供的广泛的可视化选项,并将它们与来自多个来源的其他数据结合在一个Grafana仪表板中。

Athena插件功能

当您为Grafana安装Athena数据源插件时,您将在配置页面上的Dashboards选项卡中看到,该插件附带一个精心设计的仪表盘,设置为读取AWS成本使用报告(CUR)数据。

带有宏的查询编辑器

当我们从CUR仪表板编辑面板时,我们看到插件的查询编辑器带有SQL语法高亮显示功能,允许我们对每个区域、每个数据源和每个数据库进行查询,或者使用插件配置页面上设置的默认选择。

编辑器中还提供了可在查询中使用的宏的选择插件的自述文件.在上面的例子中,我们使用了$__timeFilter宏,它根据您的Grafana时间选择动态选择数据。

$__table和$__column下拉宏允许你浏览数据的表和列,并允许你根据你的选择编写动态查询。

模板变量

你可以在我们的雅典娜成本和使用报告仪表板中看到,我们使用了几个模板变量来简化不同数据源和服务之间的浏览。例如,在这里您可以看到我们使用一个模板变量来选择所有服务,这让我们可以深入到特定服务的成本。

我们通过进入仪表板设置页面的Variables选项卡并在那里使用查询编辑器来创建这个模板变量。

注释

我们还有一个在示例仪表板中设置注释的示例,该示例带有“预算超出”选项卡。当我们打开它时,每当我们的月成本超过850美元的预算时,我们可以看到图表上出现一条虚线。

这与设置变量的方式非常相似,即转到仪表板设置页面上的Annotations选项卡,并在那里使用查询编辑器。

警报

该插件还支持警报:只需创建一个查询并选择Alert选项卡,并配置您想要发送警报的条件。

了解更多关于Athena插件的信息

你可以了解更多关于Athena插件Grafana检查项目自述.要了解更多关于雅典娜的使用,你也可以访问Amazon的概述文档