从本土到托管:贸易的办公桌如何迁移到一个现代与Grafana云监控系统

当Patrick O ' brien采访成为一个贸易网站可靠性工程师书桌™,很明显,采取公司监控系统的下一个级别是优先考虑的事情。

“一块我的采访是关于贸易的办公桌之前的监控系统规模如何,”O ' brien说,加入贸易桌子两年多前。“我有一个很好的感觉,将是一个早期的任务。”

“这是一个地区的基础设施,我立即确认为需要额外的努力解决,”卡尔·约翰逊补充道,加入工程部的主管基础设施和O ' brien之前都是6个月。“帕特里克是雇佣与他的核心目标之一,改善”。

我们不仅跟踪Grafana中的传统技术和工程指标。我们还展示了急需的运营数据,各种业务团队使用一个脉冲的日常卫生业务。

主任卡尔·约翰逊,基础设施和行为,贸易的桌子

有很好的理由。作为服务贸易的桌子上是一个软件公司作为需求方平台运行代表广告商和运行活动的能力在所有形式的数字媒体在互联网上——传统的显示、移动、音频、连接电视。自2009年成立以来,贸易的桌子已经成长为一家上市公司拥有超过1100名员工和88.9亿美元的市值。

维持其巨大成功,“我们有一个全球基础设施运行在这两个物理数据中心和云,”约翰逊说。“我们在一个非常高的规模,处理请求,通常以每秒数百万。”

以前,贸易部门“承载一切存储层的监控系统,”O ' brien说。“我们有我们的东道主直接指向各种EC2实例,和我们有一个高要求的磁盘存储层。”

“本土、自我管理和托管存储系统的贸易桌子以前非常劳动密集型和困难的规模,”约翰逊说。“通常,单个节点的存储,或者由于技术的单线程的特性,会超载。开发者和公司只是愤怒和生气的人得到查询完成的不可靠或丢失指标。”

“事情会在某种程度上定期所以我们老系统需要大量的牵手,”O ' brien说。他的目标是缓解,通过监测贸易办公桌”更容易,更可靠,更快,更便宜。”

打开就越大

O ' brien花时间玩开源替代品和也看着其他SaaS提供商托管后端。但是Grbob电竞频道afana实验室落在他的雷达在过程的早期。

贸易的桌子已经使用Grafana数据可视化,因为“我们需要为我们的监控是灵活的可视化不仅提供给所有工程师在贸易书桌,也是我们整个公司,”约翰逊说。“我们不仅跟踪Grafana中的传统技术和工程指标。我们还展示了急需的运营数据,各种业务团队使用一个脉冲的日常卫生业务。”

“Grafana使我们要做的就是如何管理这些可视化敏捷——无论它是一个人的范围从事技术项目或Grafana仪表板,整个公司可能定期观察的习惯,”约翰逊说。

O ' brien从会议熟悉Grafana实验室电路bob电竞频道和知道它通过Grafana提供后端存储云,一个完全管理SaaS度量平台。

“我有一个小担心他们是否能够处理的体积指标我们发送和查询,”O ' brien承认,他对他的犹豫是透明的。

试运行,O ' brien说,Grafana实验室团队同意“让我们打开就越大bob电竞频道”了一个星期。“这是一个非常有吸引力的POC他们允许我们做。”

Grafbob电竞频道ana实验室团队协助建立一个环境贸易桌子可以度量的初始流分叉的进入两个不同的流——一个内部和一个Grafana云。“我们发现相当多的地区的一些代码库需要一些调整,”O ' brien说,“每个人都在Grafana实验室方面非常乐意帮忙,改变致力于帮助我们进行POC。”bob电竞频道

Grafana云的好处几乎是瞬时的。“查询时立即得到改善,许多,许多开发人员似乎注意到。我们的可靠性提高了不少,”O ' brien说。

今天,“我们零存储节点,这是最昂贵的堆栈,”O ' brien说。“现在我们有三个节点和所有提要回Grafana实验室。”bob电竞频道

迁移不仅为公司节省资金,但这种转变也使故障诊断的工程部门头痛。“指标使用挫折改善几乎是在一夜之间一旦我们和托管平台,”约翰逊说。“我们知道这是一个成功的原因是这些内部投诉和挫折停止。”

令他们吃惊的是,赞美开始。”的人最初设置监控堆栈在贸易的桌子给我说快多少都是现在,多少快乐,”O ' brien说。

“他花了很多时间在管理系统中,”约翰逊说。“当你把总时间储蓄如果我们继续沿着这条道路,我想大多数的ROI是来自时间和节省劳力。我们都能说什么曾经是一个社交网站是完全从我们的雷达。”

查询时立即得到改善,许多,许多开发人员似乎注意到。同时,我们的可靠性提高了不少。

Patrick O ' brien行为,贸易的书桌上

贸易的桌子上有一个全新的堆栈

现在工程师不再专注于故障诊断,他们可以磨练建立贸易桌上的监控平台。

”释放的能力在我们的项目加载和人员配备,它让我们思考提高酒吧并主动实施下一代监测、指标、和警报系统,而不是仅仅维护相同的系统,多年来一直在和简单的动力,”约翰逊说。

与新可用资源,O ' brien团队去年重新精简公司的堆栈到更现代的系统。“2018年的普罗米修斯,”O ' brien说。

“我们的目标之一是能够让指标和报警更容易提高,”O ' brien说。“很高兴在普罗米修斯,仪表板查询语言本质上是查询语言编写的警报。和超级容易嵌入大量的上下文和很多有用的信息到您的普罗米修斯警报,这对我们来说是巨大的,因为我们必须想出一些聪明的解决方案在我们旧系统丰富警报。”bob彩票中奖计划

在贸易部门决定使用普罗米修斯,O ' brien会见了Grafana实验室团队GrafanaCon在阿姆斯特丹和讨论“我们未来的一个大问号:与长期存储度量我们做什么?”bob电竞频道

bob电竞频道Grafana实验室首席执行官Raj达特向O ' brien Grafana云将很快能够支持后端存储普罗米修斯指标。

意外地是,贸易部门项目恰逢Grafana云推出的本地普罗米修斯集成2018年,所以这两家公司合作,但这次合作有“双方的障碍,”O ' brien说。

从Grafana实bob电竞频道验室,“我们最度量每秒皮层发送端所见过的,”O ' brien说。“我们可能花了一年的产品副总裁汤姆·威尔基的生活的压力就越大,我们送到Grafana实验室!”bob电竞频道

从贸易部门的角度来看,他们在经常会在新公司的常见问题:如何实现过程在一个新的堆栈。”有一个像样的学习曲线和大量的课程我们必须了解如何结构指标,如何写我们的指标,以及如何收集度量标准,”O ' brien说。

整体”有一个平行努力贸易桌子和Grafana实验室互相帮助满足我们的期望,”O ' brien说。bob电竞频道“Grafana实验室的人是bob电竞频道非常有用的和许多不同的事物之外的长期的后端存储。他们也超级有帮助与普罗米修斯在一般情况下,通常部署问题,讨论和帮助错误我们遇到,或者筛选问题。”

现在,由于模板在普罗米修斯和Grafana,所有警报必须包含一个链接到一个仪表板提供上下文,“如果30主机报警,这是更容易直接链接到仪表板显示30主机和过去24小时的历史,看看发生了时髦的东西,”O ' brien解释道。“我们也开始进入绘图当部署发生所以我们有这种背景下。”

故障诊断变得更加统一和现在贸易的桌子已经能够执行连接一个runbook警报。过去,“有时候,runbook将包含一个链接到一个Grafana仪表板更多上下文,有时不会,”O ' brien说。“既然连接运行手册需要每一个警报,我们可以更好地执行书面警告,帮助所有人。”

工程一个快乐的团队

虽然团队继续工作退休老堆栈和新的迭代,Grafana云迁移的最大涨幅已经增加功效-和兴奋的工程团队。

“我们的工程师过去花太多时间造成灭火遗留平台。这是一个巨大的胜利给每个人他们的时间,”O ' brien说。

“我说成功的一个指标是,我听见许多人说,“我们正在努力普罗米修斯”和概述,反应是,“这是很酷的!我觉得你不经常听到这个,尤其是在基础设施团队,”O ' brien补充道。

“很难请工程师,”约翰逊说,“和我们的工程师一直很高兴。”

“我都给喊贸易部门的工程师在做一切工作。需要一个村庄一样,总的来说,每个人都是兴奋我们行进的方向,”O ' brien说。“人们真的注意到性能增加了和让人告诉你一件事没有敦促他们有所提高,这是一个很好的指示器赢。”