博客/工程

Grafana Loki 2.5的新功能:更快的查询,更多的日志源,S3的速率限制等等!

2022年4月11日6分钟

我很高兴能告诉你们最新的消息Grafana洛基分期付款,2.5 !工作量很大,近500名pr,已经进入了洛基之间的v2.4和现在。这个发行版的主要主题是改进性能、继续简化操作和更多获取日志的方法。

我们还发布了一个新版本的自托管、企业级版本的洛基,Grafana企业日志(凝胶)。GEL 1.4是基于Loki 2.5构建的,这意味着它继承了我将在下面讨论的所有功能、增强功能和错误修复。为了简单起见,我将在整个帖子中引用Loki 2.5,但我引用的关于Loki 2.5的任何内容也适用于GEL 1.4。

我通常发现自己对性能改进最感兴趣,所以让我们从这里开始。

更好的表现在Grafana洛基

正则表达式

在调试使用正则表达式查询的一些高CPU使用率之后,布莱恩Boreham深入研究了Go正则表达式包,然后返回有很多优化来提高Go正则表达式的性能。布莱恩有一个非常深入的演讲,他在FOSDEM 2022如果你想了解更多!

二元运算

有件事一直困扰着我们:为什么洛基的二进制运算看起来这么慢?像将查询除以1000这样简单的事情可能会导致看起来更慢的结果。我们直到最近才开始关注这个问题欧文迪赫我看了一下,发现了一些问题和优化这极大地提高了使用二进制操作进行查询的性能。

套期保值的请求

最初引入到Grafana节奏为了减少查询的长尾延迟,我们现在也在Grafana Loki中添加了这个功能。默认情况下,它目前是禁用的,但您可以启用对冲请求在配置。

S3的新存储模式

我们已经看到和听到了速率限制和S3的问题,因此为了更好地支持对S3对象存储的大容量查询,Grafana Loki 2.5引入了一个新的V12存储模式.存储模式控制Loki如何在对象存储中存储数据。简而言之,通过此更改,V12使用了更多的“前缀”来存储块,这允许针对S3存储提供更多性能,同时避免S3施加的每个前缀速率限制。

从我们的测试中,我们能够将读请求推到每秒5500个请求的限制之外:

Grafana Loki 2.5:显示Loki在S3中超过每秒5500个请求限制的图表。

有关信息,请查看文档改变模式

在洛基中摄取更多的原木

在Grafana Loki 2.5中,现在有几种更多的方法通过Promtail代理进入Loki:

服务发现和API直接来自Docker Daemon

你可以在Promtail中使用文件目标进行服务发现,类似于我们通常做Kubernetes跟踪的方式,Docker守护进程可以给你唯一的容器id,可以用来构造磁盘日志文件的路径。

然而,这也是可能的配置一个新的抓取目标它可以直接从Docker Daemon的API中提取日志,这样就不需要直接访问磁盘上的文件,并且可以更容易地在Docker中配置和运行Promtail。

直接从Cloudflare获取日志

Promtail已经扩展到直接从Cloudflare中提取日志logpull API.请查看文档试一试。

直接在Promtail中接收Graylog扩展日志格式(gef)

Promtail现在可以公开一个端口来直接通过UDP接收gef消息。这对于任何使用此现有基础设施或通过某些第三方服务将其作为导出格式公开,但不支持Loki(目前)的人都很有用。

简单可扩展部署(SSD)改进和新的Helm图表

在Grafana Loki 2.4中,我们引入了SSD运行模式它是运行单一二进制Loki和成熟微服务之间的中间地带。我们对SSD模式非常满意,它看起来真的很像Loki操作的未来,让Loki更容易在云原生Kubernetes安装中大规模运行,也可以直接在机器上运行,不需要Kubernetes。

对于那些在Kubernetes中并想要尝试它的人来说,有新的执掌图表SSD模式。对于企业用户,我们还添加了一个新的在SSD模式下部署Grafana Enterprise Logs的Helm Chart

如果你想看看如何在Docker中以SSD模式运行Loki和GEL,请查看这篇关于Grafana洛基和Grafana企业日志的博客文章特雷弗·惠特尼。

使用情况报告

Grafana Loki 2.5包括我们添加的向Grafana实验室报告匿名使用统计数据的代码。bob电竞频道一个这个问题是为了概括他们的意图关于这个添加,以及最终实现的内容可以在这里看到来源吗

使用报告有助于提供关于人们如何使用Loki的匿名信息,以及Loki团队应该关注哪些特性和文档。不收集私人信息,所有报告都是完全匿名的。

如果可能的话,我们要求您启用使用报告功能,帮助我们更多地了解Loki!我们也在考虑如何与社区分享这些信息,让每个人都能看到洛基的成长。

如果你愿意参与使用统计报告,该特性可以在配置中禁用

分析:reporting_enabled: false

结论

感谢所有Grafana Loki用户和贡献者,他们继续帮助发展这个项目。我们的团队正在快速发展以满足需求,我们都对洛基的未来感到非常兴奋。事实上,我们已经有了进一步改善Loki的存储、用户体验和操作体验的宏伟计划,以确保它保持在对象存储日志解决方案的顶端。bob彩票中奖计划

如果你要运行洛基,一定要检查发布说明而且升级指南有关今天开始使用Grafana Loki 2.5的更多细节!

如果运行Grafana Enterprise Logs,请务必检查发布说明而且文档GEL 1.4,它是基于Loki 2.5的,所以你可以享受所有对上游OSS项目的惊人变化!

要获得Grafana Loki 2.5最新功能的完整演示,请加入我们的“从伐木和洛基开始的网络研讨会。今天免费注册!

这是最简单的方法Grafana洛基Grafana云免费和付费计划以适应每个用例。如果你还没有使用Grafana Cloud,免费注册今天。