在加入Grafana实验室作bob电竞频道为我们的第一个数据和分析员工之一,我花了大部分时间在最初几个月考虑我们应该如何构造数据栈优化快速路径的值,同时允许我们的小的数据团队规模。
我们面临的挑战是一个完美的适合现代数据堆栈(MDS)最近的一项内部数据和分析包括原生云工具,照顾与建筑相关的基础设施之前数据管道、仓储、和转换,让分析人士和工程师更多的时间专注于交付业务价值。
这是我们如何实现现代数据堆栈Grafana实验室,尤其是,我们决定合并的原因bob电竞频道Grafana为我们的商业智能可视化层。
在我们开始之前…Grafana是什么?
Grafana是一个开源的可视化工具允许用户查询,仪表板,警报,和了解你的数据,无论在哪里存储。这种“大帐篷”哲学——我们争取互操作性无论您的数据存储与Grafana或一个不同的供应商,是根深蒂固的我们的文化和公司价值观。
Grafana的起源主要是在可观测性,提供开发人员和devops工程师工具来分析、可视化和警报系统数据;然而,作为一个可扩展的平台查询多个数据源,我们总能看到客户拉相关的业务指标来补充他们的可观察性数据:
内部Grafana实验室我们bob电竞频道采取这种难以捉摸的“单一窗格玻璃”的极端和依靠Grafana商业智能作为我们的主要解决方案。
上图:一个演示仪表板我们创建了使用印度生物技术部、BigQuery Grafana云使用数据关于花旗自行车使用在纽约市。请参阅下面的详细信息
为什么我们使用商业智能Grafana Grafana实验室吗?bob电竞频道
- 自己也——我们经常利用自己的产品Grafana实验室,并使用Grafanbob手机app官网a商业情报也不例外。bob电竞频道它允许我们测试我们的产品功能和提供反馈Grafana面板和数据源。
- 满足我们的用户——我们的工程团队已经为我们的系统数据使用每天Grafana我们扩展这个“single-pane-of-glass”的方法对我们的业务数据。
- 与我们现代集成数据堆栈——通过使用Grafana商业智能,我们扩展SQL语言的数据”从BigQuery和印度生物技术部数据可视化层。
- 交互式仪表板的盒子——Grafana仪表盘交互性建在默认情况下(例如,悬浮工具,通过单击和拖动时间选择,显示/隐藏系列),并且可以很容易地用仪表板扩展变量。
架构背后Grafana实验室的现代数据堆bob电竞频道栈
Grabob电竞频道fana实验室,我们决定在现代数据堆栈原因许多相同的其他球队做的事:它允许我们快速安装并运行证明只有我们的小初始团队价值。此外,它为我们提供了一个坚实的基础扩展我们的数据和分析实践:标准化的数据定义,版本控制/测试、模块化的代码,和迭代改进。
我们的现代数据堆栈包括:
- 英语教学/ ETL(提取、转换、加载):Fivetran
- 事件流:Rudderstack(自托管开源)
- 数据仓库:BigQuery
- 数据转换:印度生物技术部CLI(自托管开源)
- 编制:长官(自托管开源)
- 反向ETL:Hightouch
- 可视化:Grafana云
这里是我们的数据堆栈的图:
Grafana如何与我们现代集成数据堆栈
我们奉行“大帐篷政策”的哲学鼓励用户连接他们的数据,不管在那里生活。在现代数据堆栈,我们BigQuery用作数据仓库,从而利用我们最近发布的Grafana BigQuery数据源将数据带到我们的仪表盘面板。
上图:Grafana BigQuery数据源允许用户使用SQL的数据可视化。
此外,使用Grafana可视化层也允许我们有一个独特的“职责分离”——利用印度生物技术部的优势在我们原始数据建模,允许SQL Grafana只关注数据可视化。
最后,Grafana也有很多功能,我们用于数据治理和发现:
演示Grafana仪表板
如果你想直接看到我们创建一个演示仪表板,它是托管在play.grafana.net,我们的公共面临演示Grafana实例。
数据集:花旗自行车在纽约市
对于这个演示仪表板我们使用BigQuery自由层和公共数据集(bigquery-public-data.new_york_citibike),印度生物技术部云开发者自由层,Grafana云永远免费的计划。
这个指示板显示一些高级统计在纽约花旗自行车项目从2017年4月至2018年5月,目的是突出的一些特性和交互性得到Grafana仪表板。
“花旗自行车是全国最大的自行车共享项目,10000辆自行车和600年站在曼哈顿,布鲁克林、皇后区和泽西城。这个数据集包括花旗银行花旗以来自行车旅行自行车推出了2013年9月,每日更新。花旗数据处理骑自行车去旅行,都由员工服务和检查系统和任何旅行低于60秒的长度,这是错误的开始。”
演示如何工作
如果你想看到更多的细节关于我们如何设置仪表板,托管版本进入编辑模式,您可以查看SQL和我们选择的选项。此外,您可以参考印度生物技术部的项目。
我们爱你的反馈
最后,我们很想听到你的声音!Grafana是开源,我们强烈鼓励社区参与。此外,BigQuery插件最近被释放,我们正在积极寻求用户的反馈和采访。分享你的想法,如果你感兴趣请找到我们的bob电竞频道Grafana实验室社区松弛在#商业智能通道组成。
