Grafana和InfluxDB CSS电子可视化物联网数据监控车辆和机械

• 2021年9月21日 •6分钟

马丁•Falch合伙人和CSS电子销售和营销主管,是一个“CAN总线”数据的专家。马丁与最终用户紧密合作,通常OEM工程师、跨不同行业(汽车、重型、海事、工业)。他是热爱开源软件,已率先投入的集成CANedge InfluxDB数据库和Grafana电信仪表板。

在CSS电子,我们开发工业级,简单易用CAN总线数据记录器。简而言之,CAN总线负责沟通的协议消息的遥测在几乎所有车辆-重型车辆,汽车,采矿卡车,等等。这也是广泛使用在许多类型的监控机械,船只、飞机、无人机和机器人。

终端用户通常包括汽车设备制造商的工程师,他们可能需要监控资产领域为了执行分析,诊断问题,甚至执行预见性维护。

对于这些用户来说,可以可视化数据是很重要的,为了支持这个,我们决定将促进我们之间的一个即插即用的集成硬件和Grafana。

下面,我们列出了我们面临的关键挑战,我们如何解决它们,我们的解决方案的好处,和实际用例的例子。看到更多的公共Grafana仪表板操场,看看我们完整的介绍文章与我们的现场演示或视图我们的研讨会。

集成的关键挑战来解决

作为我们的集成的一部分,我们面临五个关键挑战:

1。使用“原始”CAN总线数据

CANedge数据记录器记录原始CAN总线数据。这些数据包含时间戳“id”和“databytes。“为了让我们的用户有意义的数据,它需要“解码”,人类可读的形式通过合适的软件/ API工具和数据库文件(DBC),其中包含的信息如何解释数据从一个特定的应用程序(例如,一辆卡车或汽车)。

2。存储二进制日志文件

CANedge记录数据标准化的二进制日志文件格式MF4。虽然这很容易与许多流行的CAN总线集成软件工具,没有即插即用的工具将数据存储在数据库中。

3所示。从本地磁盘或S3处理数据

此外,我们的用户可能在某些情况下需要处理数据从本地磁盘(例如,从我们的记录CANedge1),而在其他情况下,他们可能需要处理数据直接从S3服务器(例如,当从我们上传CANedge2)。在这两种情况下,解决方案也需要很容易自动化。

4所示。需要定制

每个用户可能更“高级”的独特要求处理的数据,其中一些不能通过数据库查询。

5。没有中央托管

最后,我们的商业模式是有点特殊,因为我们不主机服务器和我们不提供解决方案服务。bob彩票中奖计划相反,我们使我们的最终用户建立自己的一切。这对用户有很多好处,例如成本和数据控制。然而,对于这个工作,解决方案需要很简单的设置。

我们的解决方案:通过Python和推动它InfluxDB处理数据

为了解决这些关键的挑战,我们设计了一个简单的即插即用仪表板集成脚本使用我们的免费的Python API模块。

该脚本的第一步是获取相关的日志文件。我们实现这一目标通过使用fsspec和我们的API模块canedge_browser。这让我们列表日志文件从本地磁盘和S3在一个无关的方式基于一个指定的时间段。

脚本使用这个日志文件的列表,然后将每个二进制文件加载到一个熊猫dataframe使用我们MF4迭代器模块,mdf_iter。

这dataframe原始数据可以提供给我们can_decoder模块以及相关的DBC文件,告诉模块如何解释数据。输出是一个新的dataframe等时间序列数据的速度,转速,GPS位置,温度等。

最后,脚本将解码dataframe到用户自己的InfluxDB数据库通过InfluxDB Python API。一旦数据被推,准备通过Grafana查询。

而其他的数据库可以用来代替InfluxDB,我们发现这是一个非常不错的选择,特别是因为——喜欢Grafana云——InfluxDB提供一个免费的云起动器使初始设置非常容易。InfluxDB还支持高频数据,有关,例如,can总线诊断。

一旦完成了初始测试,脚本可以很容易地通过任务调度自动化集成或通过AWS Lambda函数。

值得注意的是,有很多方法在实践中进行这个设置。例如,一些用户可能更愿意使用云版本的InfluxDB Grafana,或两者兼而有之。其他人可能决定self-host一切在本地机器或一个AWS EC2虚拟机。同样,Python脚本可以通过任务调度程序或通过自动触发功能(如AWSλ,Azure触发器,等等)。

是什么让远程信息处理仪表板Grafana很棒吗?

在我们看来,Grafana + InfluxDB仪表板设置远程信息处理是一个伟大的解决方案,因为:

Grafana提供了一些在视觉表现上的自定义仪表板。
Grafana的整个解决方案可以设置在几分钟内没有编程经验。
Grafana和InfluxDB报价免费云开始,减少“棒极了。”
这两个工具都是开源的,但是也提供付费云选择为了方便。
Grafana前端可以完全定制,不需要编码。
100 + Grafana插件提供了很大的灵活性,如geomap可视化。
Grafana变量使前端用户方便地切换设备。
本机Grafana警报能够迅速通知用户设置阈值的设备问题。

客户用例

今天,我们的很多用户依赖Grafana作为他们的一个核心工具来处理他们的CAN总线数据。这些都包含在我们的用户案例研究。

国际农业设备制造商Kverneland上传的数据可以通过CANedge2收割机和3 g / 4 g路由器。数据上传到自己的Azure blob存储(使用MinIO S3网关)。通过Azure触发功能,仪表板集成脚本自动化,从而促进Grafana新鲜数据的可视化。这使得各种用例,包括远程调试的设备问题。“CANedge2使我们有机会获得大量的数据直接从字段中,没有身体下面,因此节省我们很多时间/成本,“Kverneland团队写道。“和自动化脚本运行在Linux服务器我们能够想象和分析数据直接没有任何努力。”

另一个例子是HAVELSAN公司提供端到端技术解决方案在国防、模拟、国土安全和网络安全。bob彩票中奖计划研究小组使用CANedge2定期上传数据从一个无人地面车辆。设备auto-pushes SD卡的数据团队的S3服务器时指定范围内的无线路由器。数据处理和推到InfluxDB Grafana可视化。模式是观察到的异常数据时,团队下载相关的日志文件通过其他软件工具进行深入分析。