博客/工程

Grafana Tempo 1.3发布:后端数据存储搜索,自动遗忘压缩器,以及更多!

2022年1月25日5分钟

Grafana Tempo 1.3已发布!我们很自豪地添加了搜索后端数据存储的功能。这个功能也将很快出现在Grafana云的痕迹

如果你想深入了解细节,你可以看看v1.3更新日志.如果这太多了,这篇文章将涵盖大的项目。

你也可以在我们最近的网络研讨会上看到Tempo 1.3的现场演示。”Grafana中的分布式跟踪:从Tempo OSS到企业,可以按需观看。

Grafana Tempo 1.3的新功能

后端数据存储搜索现在在Tempo 1.3中可用!参考设置文档Grafana。Grafana UI与搜索最近的痕迹相同。

Grafana Tempo 1.3:后端搜索UI。

在我们的内部Tempo集群中,我们目前摄取了大约180MB/s。不幸的是,我们的搜索更像是批处理作业。搜索一些参数有时需要10-20秒,这并不理想。我们致力于将此减少一个数量级,以便提供您在项目中习惯的快速搜索,如洛基.我们的限制是后端格式。(期待即将发布的Tempo版本的改进!)

在内部,我们使用无服务器技术来生成每个查询的数千个作业,这些作业会打开您的块并仔细查看下面的跟踪数据。查看如何设置一个serverless环境在安装中使用Tempo。在内部,我们遇到了成千上万的无服务器实例:

Grafana Tempo 1.3:无服务器实例

上图:搜索过程中无服务器实例的计数。

注意,后端数据存储搜索不需要无服务器,如果负载较小,查询本身可能能够有效地完成任务。

Auto-forget压实工具

Tempo的一些用户已经看到了压缩器的问题保持在一致的哈希环中处于不健康状态,即使在优雅退出后。我们在Grafana还没有遇到过这个问题,所以很难诊断和解决这个问题。

在Tempo 1.3中,我们更新我们的戒指代码在两次心跳超时失败后自动忘记压缩器。默认为2分钟,但可以通过以下方式配置:

Compactor: ring: heartbeat_timeout: 1m0s

对于那些看到问题的人来说,这个更改应该会减少运行Tempo的操作负担。

更好地防止大痕迹

对于Tempo来说,接近100mb +的轨迹在许多方面都是具有挑战性的。由于合并这种大小的跟踪需要大量的内存,因此摄取、压缩和查询对于各种组件来说都是非常繁重的工作。

Tempo尝试使用以下配置限制跟踪大小,默认为50MB:

重写:max_bytes_per_trace: 50000

节奏1.2在以前的版本中,一旦跟踪从内存中退出,我们就会停止防止摄入大的跟踪。如果几秒钟后没有接收到更多的跟踪跨度,通常会发生这种情况。

在Tempo 1.3中,我们更新了代码以继续拒绝大跟踪直到头块被切断,这可以15-30分钟。因为即使是这样,也可以通过团队在数小时或数天的过程中推送大量的跟踪来规避,所以我们有了额外的想法(例如围绕最大跟踪大小和改善压实工具)也在进行中。

突发的变化

Tempo 1.3有一些但不大的突破性改变。对于大多数Tempo运营商和用户来说,这些突破性的更改不会产生任何影响。

  • 对“Push”GRPC端点的支持从吞食者身上移除.该方法自Tempo v1.0以来已弃用。如果是1。X版本这对您没有影响。如果你从0升级。x版本,我们建议您先升级到Tempo v1.2,然后升级到Tempo v1.3。
  • 升级我们的OTel收集器依赖将默认的OTel GRPC端口从55680更改为4317。如果在配置中显式指定端口,则此更改不会影响您。
  • 过程中重新定位了两个与搜索相关的配置设置添加完整的后端搜索
query_front: search_default_result_limit:  search_max_result_limit: 

被迁往

query_front: search: default_result_limit:  max_result_limit: 

接下来是什么?

我们需要改进后端跟踪格式。我重复一遍:我们真的需要改进后端跟踪格式。我们目前正在存储打包到protobuf的跟踪,并在对象存储中批量存储为巨大的块。这在通过ID查找跟踪方面工作得很好,但对于高效搜索来说,它并不是完全正确的形式。

新的后端格式有很多选择,团队正在努力评估和测试它们。我们需要转向这样的解决方案:既能从数十亿条跟踪bob彩票中奖计划中检索一条,又能支持基于标记的搜索,并最终支持表达能力更强的TraceQL。您可以参加我们的社区呼吁,了解有关搜索和其他Tempo进展的最新消息!

如果您对更多Tempo新闻或搜索进展感兴趣,请加入我们的bob电竞频道Grafana实验室社区Slack频道#tempo,提问论坛,向…伸出手推特,或加入我们的每月社区访问.到时候见!

最简单的开始方式Grafana节奏是用Grafana云,我们的免费永久层现bob体育手机二维码在包括50GB的跟踪、50GB的日志和10K系列的指标。你可以免费注册