你好迁移到Grafana云削减成本和控制指标

你好成立于2016年,从一开始就是一个container-centric Kubernetes商店。“拥有一个技术套件,包括集装箱化是至关重要的对我们来说,“说高级软件工程师杰克·特利,你好核心技术团队的一员。

两年多前,一群工程师已经开始使用普罗米修斯其余公司仍然依靠供应商产品的监控。这组最初的开关,因为他们负责很多你好指标,和他们一直难以维护成本与当前供应商的产品。

削减到2019人。普罗米修斯工程师非常满意,他们越来越沮丧与服务其他公司仍在使用。“我们继续看到我们没有控制指标与我们现有的解决方案,我们希望“·特利说。“我们想要的工具,使我们能够过滤或总指标,这将使我们能够保持一个更小的组。没有,我们被迫吞下一切,我们是否用它。”

是时候做一个全公司范围内的开关。

皮层提供缺失的元素在大多数普罗米修斯部署,一个窗格玻璃跨多个集群运作视图和地区。

丹•Sabath高级软件工程师,你好

分页Grafabob电竞频道na实验室

你好选择Grafanabob电竞频道实验室的Grafana云托管普罗米修斯几个原因。·特利说,首先,他们认为普罗米修斯和Grafana组合时的行业标准监测Kubernetes集群和容器。

他们还喜欢,普罗米修斯给他们提供了一定程度的控制和透明度,他们没有其他服务。“我们想要看看自己的信息的能力和理解从上到下,“高级软件工程师丹Sabath说。

相比其他主要指标收藏家,·特利喜欢直接,你可以查询当地的普罗米修斯。“你可以使用复杂的远程编写规则为了过滤或变异指标,因为他们获得从普罗米修斯到外部系统,”他说。“有水平的控制是我们真正想要的东西。没有它,我们必须去我们的工程团队——那些已经忙了,问他们做所有这些小的变化在他们的应用程序。作为一个中央工程团队在组织内,我们想要控制这些变化和避免微观管理其他球队。”

但由于他们将发送指标从普罗米修斯到另一个系统,你好就成了大问题,“我们去哪里吗?”

普罗米修斯为了规模,·特利说,他们认为跑步皮层或Thanos(两个开源项目水平可伸缩Prometheus-compatible监测系统)内部或使用其他供应商,但他们认为Grafana云是“最符合我们想要完成什么。”

的确,对你好,一个关键的卖点是Grafana云是由皮质的事实。“我们可以坚持开源工具,我们可以做深度代码审计当我们需要时,我们可以依靠社区,”·特利解释道。另外,他说,“我们不需要关心管理和理解所有的基础设施。”

你好团队也吸引了皮层的一些主要特点:有一个地方去,所有的数据,能够减少重复冗余数据的副本,和能够有任意时间的数据。

但真正改变的是皮层”提供了缺失的元素在大多数普罗米修斯部署,一个窗格玻璃跨多个集群运作视图和地区,“Sabath说。

之前,你好操作与HA -一个标准的移动与普罗米修斯——这意味着每次运行一个查询,它可以用不同的结果取决于回来这普罗米修斯。“我们有一个有限的时间,我们所有的磁盘上的数据,我们已经查询许多普罗米修斯,烦人,”·特利说。

Thanos和皮质都解决方案,·特利认为Thanos似bob彩票中奖计划乎更容易跑,你好最初的领跑者。然而,·特利改变了他的想法,当他挖深入皮层是如何工作的:“它处理大规模的建造,而Thanos建造是一组现有的普罗米修斯之上的一层。如果我们要船我们的数据到外部提供者,我们宁愿使用皮质。”

审计我们的数据我们可以看到哪些指标基数最高,或者看到哪些服务最公制系列出版。这给了我们一个机会知道过滤指标最高的影响…我们希望这种级别的能见度多年,直到现在,从未有过。

杰克·特利,高级软件工程师,你好

411年实现

你好在实现阶段面临两大挑战:最大的正年的仪表板、警报、指标、遗留服务,和遗留仪表板普罗米修斯从他们以前的供应商。写自动化将最初的仪表盘是一个主要的部分原因你好能够完成迁移到Grafana云在一个季度。

另一个问题是与cron作业指标。以前,有一个非常直接的集成,允许你好所有的Kubernetes cron作业的方式实现他们直接把end-of-job指标到服务提供者。大多数non-cron工作服务,你好普罗米修斯端点使用,让前面的公司刮。

一些工作需要在普罗米修斯范式使事情顺利进行。“我们解决,通过使用普罗米修斯Pushgateway领带这些指标回组标准的工具,“·特利解释道。

你好的一些团队也从一个基于web的挣扎,单击服务使用PromQL。“Grafana有很多小功能来帮助它更容易编写普罗米修斯查询,“·特利说,但很多培训课程,实际调试,牵手,和松弛的消息仍然需要团队学会了理解的差异PromQL并找出为什么他们看到他们在看什么。

此外,你好最初的问题提醒选项。他们一套基准与他们的老普罗米修斯警报,和他们的新Grafana警报不满足他们的要求。

由于Grafana实验室的支持团队,他们能够解决问题通bob电竞频道过早期访问到皮层统治者和承载Alertmanager Grafana提供服务。”,允许我们使用普罗米修斯报警,这是非常好的,”·特利说。不过,因为服务是新的,它并不是完美的。”因此,我们曾与Grafana实验室工程师皮层为了优化产品来满bob电竞频道足我们的需求。这是一个非常实际的关系,感谢。”

坚持的结果

你好转向Grafana云在很多方面得到了回报。

豪尔赫·巴里奥斯,工程经理的核心技术团队,说公司是“节省大量的钱”相比,他们的支出,与Sabath补充说,他们现在有“深入了解我们指标的实际宣传。”

你好是利用他们可以做的事情在普罗米修斯为了得到这种见解。“我们审计我们的数据可以看到,指标基数最高,“·特利说,“或者看到哪些服务最公制系列出版。这给了我们一个机会知道过滤指标最高的影响。这些审计可以与普罗米修斯PromQL或使用api来获得一个完整的转储中的每一个指标体系。我们希望这种级别的能见度多年,直到现在,从来没有。”

结果,他们已经过滤掉一些很简单的指标,几乎从未使用过,并且·特利审计寻找潜在的未来储蓄。“如果服务发布延迟的六种不同的百分位数,我们可能只需要三个人,”他说。“或者我们可以写规则的高聚合度指标去除随角果的粒度。这些类型的变化通常导致显著的储蓄。”

一旦完全机载Grafana,你好有560000活跃系列Grafana云。从那时起,他们已经能够减少指标数到400000系列活动。

拨号到仪表板

你好工程团队都有一个伟大的经验与他们Grafana云仪表板。

“大量的工程师们一直在兴奋分享他们创造的仪表板,”·特利说。饼图插件是一个最喜欢的许多团队;他们还利用大量的文本面板。这个功能在以前的服务可用,但他们很少使用。

“这是一个简单的功能,有令人惊叹的结果,”·特利说。通过解释图是什么,他们的意思是,和为什么他们物质,它会让事情更少的令人困惑的人不是专家读图。

核心技术团队对很多操作警报,所以巴里奥斯说的文本特性还方便,如果他在打电话,没有很深的了解另一个团队的系统:“看他们的图表,看看他们的服务操作正确,并有恒定的上下文是非常有用的。”

提前打电话

展望未来,Sabath说,他希望添加标准化仪表盘你好部署的基本框架。

·特利也期待着使用即将Grafana特性支持可视化中嵌套表。“我想要一个干净的我们所有的Kubernetes集群列表显示了每个集群的健康,简要概述”·特利说。“有一个适当的可视化,而不只是一个数字将超级令人兴奋。”

最终,与Grafana云是一个聪明的呼吁你好。“我们一直对普罗米修斯和Grafana开源工具很长一段时间,”·特利说,“现在我们有一个托管服务,构建除此之外。”