博客/工程

宣布Grafana Mimir,世界上最可扩展的开源TSDB

2022年3月30日5分钟

今天我们要介绍的是Grafana米密尔是世界上可扩展、性能最好的开源时间序列数据库。米米尔允许你这么做扩展到10亿个指标除此之外,还有简化的部署、高可用性、多租户、持久存储以及比Cortex快40倍的快速查询性能。米米尔被邀请在https://github.com/grafana/mimir并根据AGPLv3授权。

Mimir是度量领域的一个新项目,但它站在巨人的肩膀上。为了理解为什么是Mimir以及为什么是现在,我们需要倒带并讲述《Cortex》的历史。

从出生的普罗米修斯

2016年在weveworks工作时,我与Julius Volz(《普罗米修斯》的联合创始人和维护者)一起启动了Cortex项目。该项目的目标是构建可伸缩的与prometheus兼容的解决方案,设计为作为SaaS产品运行。在我加入Grafana实验室后bob电竞频道,我们与weveworks合作,将Cortex转移到一个中立的地方,云原生计算基金会。皮层2018年9月20日,该项目被纳入CNCF沙盒项目,两年后晋升为一个孵化项目.CNCF为组织在项目上的合作提供了一个公平的竞争环境,这确实很有效,Grafana实验室和weveworks都积极贡献。bob电竞频道Cortex被20多个组织使用,并且已经有来自大约100名开发人员的贡献.bob电竞频道Grafana实验室的员工无疑是Cortex项目的最大贡献者,2019-2021年提交的提交中约87%。

Grafana Mimir: Cortex开发者贡献。
Grafana Mimir: Cortex开发者贡献。

来源:cortex.devstats.cncf.io

Cortex, Loki, Tempo和Grafana企业指标

随着时间的推移,Cortex已经成为许多其他项目的基础,包括Grafana洛基(“像普罗米修斯,但只是木头”),Grafana节奏(用于分布式跟踪),以及Grafana企业指标(GEM).bob电竞频道Grafana实验室该产品于2020年推出将Prometheus带到大型组织中,添加使其为企业准备所需的特性——比如额外的安全性、访问控制和简化的管理ui——目的是向那些没有时间或没有意愿自己构建它的组织销售。我们的目标是让GEM从第一天起就成为检查所有企业需求的“简单按钮”。

与此同时,云提供商和isv已经推出了基于Cortex的自己的产品,但对项目的贡献却没有类似的水平。一家公司开发其他公司可以以更低的成本提供的技术,因为他们不需要投资于开放源代码,这种循环是不可持续的。作为回应,我们开始更多地投资于GEM而非Cortex。我们是一家倾向于开源的公司,所以这让我们非常不舒服;我们在GEM中构建的一些与可伸缩性和性能相关的特性是我们真正认为应该属于OSS的特性。

很多人都知道,去年我们重新授权我们的开源项目, Grafana, Grafana Loki和Grafana Tempo,从Apache 2.0到AGPLv3,一个osi认可在鼓励第三方向社区贡献代码的同时,保留开源自由的许可证。从Grafana Labs成立之初,我们的目bob电竞频道标就是围绕我们的开源项目建立一个可持续的业务,这样我们商业产品的收入就可以重新投资于技术和社区。AGPL许可有助于平衡开源和社区的“价值创造”与我们货币化战略的“价值捕获”之间的关系。

引入Grafana米密尔

Mimir结合了我们在Cortex中构建的最佳功能,以及我们开发的用于大规模运行GEM和Grafana Cloud的功能,所有这些都是在AGPLv3许可下进行的。Mimir包含了以前的商业特性,包括使用水平可扩展的“分割”压缩器的无限基数,以及通过分片查询引擎提供快速、高基数查询。

比较Cortex、Grafana Mimir和Grafana Cloud & Grafana企业指标

Grafana Mimir:对比图。
Grafana Mimir:对比图。

在构建Mimir和分叉Cortex的过程中,我们有机会减少5年来积累的技术债务,删除未使用的特性,使项目更容易维护,极大地简化配置,并改进我们的文档。我们希望这项投资将通过使Mimir更容易被采用来帮助社区发展。

对于我们的Grafana Cloud和Grafana Enterprise Metrics客户来说,没有任何变化——这两个产品基于Grafana Mimir已经有几个月了。bob手机app官网对于目前正在运行Cortex的组织来说,Mimir可以在主要版本升级的限制下作为临时替代。这需要不到10分钟就能从Cortex迁移到Mimir对大多数设置。

指标的未来

Mimir的愿景不是成为“最好的可伸缩的普罗米修斯”,而是成为“最好的可伸缩的时间序列数据库,无论指标格式如何”。用户不应该为了向Mimir发送指标而更改自己的代码。今天,Mimir可以使用Prometheus的度量。很快,涌入、石墨、OpenTelemetry和datdog也将紧随其后。这是我们“大帐篷”哲学的一部分:就像Grafana是可视化所有数据的工具一样,Mimir也可以是存储所有指标的工具。

现在我们已经发布了Mimir,各地的用户可以将我认为最强大、最全面、最可组合的开源可观察性堆栈LGTM的各个部分组合在一起:Loki用于日志,Grafana用于可视化,Tempo用于跟踪,Mimir用于度量。

要了解更多,请阅读与我们的首席执行官Raj Dutt进行问答,并注册参加4月26日的网络研讨会,Grafana Mimir的介绍,这是一个开放源码的时间序列数据库,可扩展到10亿个指标甚至更多