电信和媒体公司NOS如何使用Grafana来排除移动网络故障

这似乎是古老的历史，但曾经有一段时间，电信公司只需要担心如何通过座机连接客户。如今，它们的业务依赖于庞大的蜂窝网络，不仅能在无数地点提供强大的无线电话覆盖，还能满足平板电脑、电脑和机对机通信的需求。

号是一家葡萄牙电信和媒体公司。它为客户提供移动和固定网络、有线和卫星电视以及高速互联网。随着2G变成3G，然后是4G，再到现在的5G，移动网络本身变得越来越复杂。“我们有更多的服务、更多的节点和更多的技术，”NOS移动网络分析和I&D主管里卡多·迪尼斯(Ricardo Dinis)说，他领导着NOS移动工程部最近新增的移动网络分析团队。

电信公司的生存和死亡取决于他们的服务质量，由于掉线和连接不稳定是客户更换供应商的主要原因，网络监控对保持该领域的领先地位至关重要。迪尼斯说:“我们的主要任务之一是确定我们的客户在哪些方面缺少服务或遇到了问题。”工程团队还需要注意流量的巨大峰值，并解决这个问题。他补充说:“我们每天都在优化网络，调整现有容量规模或规划新的网络节点。”“最终目标是让客户成为我们决策的中心。”

为了在现代的、可扩展的、灵活的行业中保持敏捷，并实现这一目标，NOS需要同样现代的、灵活的、可扩展的技术。他解释说:“我们需要引入更多处理数据的方法，以便尽快知道我们的网络在哪里出现了问题。”

自2017年以来，公司一直依靠79bob官方下载用于监控这些指标。这让工程师更容易排除故障，他们现在可以在不到一分钟的时间内分析数据。“它是巨大的，”迪尼斯说。“五年前，如果有业务问题找我们，我们会努力解决它们，而且我们不像今天这样详细地进行故障排除和数据关联。现在，我们可以更快、更详细地回答业务问题。通过Grafana，我们的效率提高了很多，取得了更好的结果。”

拨入数据

迪尼斯从2000年开始在电信行业工作，多年来，他见证了公司运营方式的巨大转变。商业分析和无线电网络分析一直都很重要，但今天的挑战更加复杂，行业发展得更快，工作负载迁移到云端和人工智能的引入在现代网络管理中发挥着关键作用。

NOS有不同的工程团队来处理它的移动、电视和固定网络。在移动网络工程团队中，职责包括规划、优化和无线网络部署。

无线接入网的优化是一个非常具有挑战性的问题。与大的中心节点不同的是，该公司采用了带基站和地理上分散的天线的塔，用于在公司有客户的地区部署服务。“我们有数千个节点和数十万个计数器，通过这些计数器，我们可以创建网络的关键性能指标，”迪尼斯说。“这是一个巨大的信息量。”

然后，移动网络工程团队获取这些信息，并使用性能工具创建涵盖主要kpi的报告。无线网络工程师通常使用KPI仪表板进行分析，以识别和理解存在问题的领域。然后，他们深入研究这些问题，试图找出它们的根本原因，确定哪些用户受到影响，并决定如何解决性能差距并优化它以改善用户体验。

在NOS开始使用Grafana之前，他们使用的业务对象套件只提供包含有限信息的静态报告。他回忆道:“你不可能简单地过滤所有的面板和图表。”另外，随着数据库的增长，访问相关数据需要更多的时间。“如果我们每天都要做几次分析，那就成了工程师的痛点，”迪尼斯回忆道。

他们开始通过创建数据子集来优化这个过程。这样，他们就可以提取数据，计算kpi，并以一种最有帮助的方式聚合它们。他说:“我们花了很多时间在ETL流程上，把数据的一个子集按照我们想要的方式组织在部门数据库上。”

寻求解决方案

一旦NOS的移动工程团队确定了如何挖掘无线网络数据，他们就需要一种可视化的方法。

在NOS的漫长职业生涯中，迪尼斯扮演了电信、工具和分析之间的桥梁。他对开源项目非常感兴趣，这也是他第一次发现Grafana的原因。他认为这将很适合他的团队的需求，这有几个原因。他说:“Grafana支持多个数据库，配置起来非常容易。”它还比NOS现有的工具具有更多的可视化功能。Dinis被Grafana吸引的另一个原因是，它是一个拥有庞大社区的开源项目。

移动网络优化是在日常周期中进行的，而不是实时或接近实时的故障排除。数据通常被聚合为每小时和每天的kpi。“刚开始的时候，我们遇到的问题是，由于数据存储在巨大的企业数据库中，数据传入的速度很慢，”迪尼斯说。“现在我们正在处理数据的一个子集，并优化数据结构，使其更容易查询，更快速。这一点很重要，因为工程师每天要针对不同的单元、不同的区域和网络的不同部分查询数十次数据。如果速度慢，工作效率就会变差。”

为了测试Grafana, Dinis在他部门的数据库上配置了它。大部分数据都在SQL server数据库中。当他们开始测试时，Grafana还不受支持，所以他们不得不将一组数据复制到MySQL数据库中并使用Grafana的MySQL插件直接从Grafana查询数据库。它们还依赖于InfluxDB作为运行状况检查服务器。

在测试期间，开始支持SQL Server，但不支持其他数据库的所有功能。“但是我们很快迁移了仪表板，过了一段时间，我们让Grafana在SQL服务器上运行，”他解释道。

NOS当时只有一个仪表盘，但他们很快就看到了与他们使用的仪表盘相比的功能差异。“在Grafana中，更容易深入到问题中去过滤时间序列，也更容易在同时调整的几个面板中交叉检查数据，”Dinis说。

NOS仍然使用它的主要性能管理器工具，因为该公司正在处理来自网络的所有计数器。Dinis解释说:“对于某些类型的故障排除，我们需要在仅在主数据库上的某些计数器中挖掘和深入更多细节。”

但是，如果我们对所有用例使用这个巨大的数据库，那么查询一个广泛的区域可能需要几分钟，而我们不能在重复分析中等待10或15分钟。这是我们的主要问题，也是我们搬到格拉弗纳的原因。现在我们也能够以我们需要的方式聚合数据，这更容易快速调整数据以适应我们的分析。当然，在Grafana中，它要快得多，因为数据库经过了优化，所以我们可以在几秒钟内查询数据。

Ricardo Dinis，移动工程分析和I&D主管| NOS

连接Grafana

由于对迪尼斯的团队来说，这已经被证明是有价值的，而且因为Grafana非常容易学习，NOS的其他团队也自然而然地加入进来，并将其用于自己的目的。目前，该部门约有30名无线电网络工程师使用Grafana。他们正在创建自己的仪表板，并在上面添加新的用例。迪尼斯笑着承认:“我们一开始是由我部署并创建第一个仪表盘，但现在我甚至不知道我们的Grafana系统中有什么。”

NOS工程团队开始将Grafana与无线接入网kpi一起使用，并逐步添加其他核心网域。通过这种方式，我们对网络有一个整体的看法，这对于故障排除和跨所有网络域的关联是至关重要的。我们也在集中或推送来自其他数据源的数据，比如无线电网络轨迹，我们有以用户为中心的信息等等。”他们还运行用例仪表板来检查数据的不一致性。

巨大的成功

对NOS来说，Grafana实现了双赢。在技术方面，工程师现在可以在单个问题上花费更少的时间，这意味着他们可以更自由地帮助分析和优化整个业务的附加内容。因为他们能够看到更多的数据，他们正在为企业提供更好的连接——这转化为更快乐的客户。

迪尼斯说:“我们始终以客户为中心，尽可能提供最好的服务。”“我们也想更好地了解他们。客户的痛点是什么?我们在哪里遇到了问题?有了Grafana，我们更了解网络，我们可以优化它，所以我们不会等待客户的投诉，我们的目标是在收到投诉之前就采取行动。”

迪尼斯说还有改进的空间，所以NOS现在正在添加机器学习来尝试识别网络模式——聚集客户、性能等。他说:“我们还有很长的路要走，但网络节点和配置也在进化。”“我们能够从网络中提取比以前更多的信息，因此我们有更好的工具来从以网络为中心转向以客户为中心的kpi。”

他指出，尽管工程团队越来越小，网络也越来越复杂，“我们已经改进了很多。我们优化和排除网络故障的方法比安装Grafana之前好多了。”

拓宽范围

迪尼斯和他的团队在可视化时间序列数据方面取得的成功——以及在堆栈上看到增长的灵活性——唤醒了他们，他们可以用额外的Grafana仪表板解决其他问题。与此同时，团队更专注于分析和自动化，这增加了团队必须管理的工作负载数量，并保持在服务器上运行。

他解释道:“我们正朝着具有更多可观察性、可追溯性、度量和日志的方向发展。”

我们的团队以前从未使用过可观察性解决方案，所以这对我们来说是全新的。“我们是电信工程师，所以我们开始创建脚本，而不太担心集中日志和可观察性，”迪尼斯说。“一旦我们开始增加流程的数量，就必须开始优化我们观察所有正在运行的流程的方式——ETL、自动化脚本等等。”

最近，NOS部署了普罗米修斯使用服务器正在运行的脚本从服务器获取时间序列指标。之后，他们开始安装洛基来集中日志，他们正在用Grafana进行可视化处理。

有了格拉芙娜·洛基、普罗米修斯和格拉芙娜，我们的可观测性就更受控制了。但它不仅仅是这样。现在，当我们遇到问题时，排除故障更容易，而不必试图理解脚本在哪里失败，以及日志在哪里。一切都是集中的，很容易访问。在此基础上，我们还运行了警报，这有助于我们更快地采取行动。

Ricardo Dinis, NOS移动工程分析和I&D主管

如果没有Grafana，他补充道，“我们肯定会陷入困境。Grafana产品支持我们的一些日常任务，我们在此基础上运行网络的关键每日分析。”bob手机app官网