博客/社区

使用Grafana和机器学习分析显微镜图像:Theia Scientific的工作内幕

2022年8月12日4分钟

GrafanaCONline 2022Theia Scientific总裁、管理成员、首席开发人员Chris Field和Volkov实验室创始人兼首席执行官Mikhail Volkov——Grafana专家——发表了一份报告演讲关于使用Grafana还有机器学习用于实时显微镜图像分析

实时显微镜图像分析包括使用数字设备(如PC、iPad或相机)在显微镜上捕捉图像。然后,研究人员利用这些图像来计数或测量图像中某些特征的大小。这是一种用于生产和质量控制的技术,也用于学术研究等领域。

Field解释说,通过结合机器学习、计算机视觉和Grafana,他们能够自动化工作流程,实现对显微镜图像的实时或“实时”分析。在某些情况下,它降低了80%的人工成本,并帮助在几秒钟内完成分析结果,而不是几年或几个月。

预见未来

菲尔德首先展示了他们对未来实时显微镜图像分析的期望。

实时图像分析
实时图像分析

右边是电子显微镜下的图像。红色的方框被自动绘制在显微镜控制软件的顶部,以计数和大小黑点。左上方的面板显示了样品中缺陷的数量,而左下方的面板显示了缺陷的大小随着时间的推移而增加——研究人员可能正在寻找的细节。

菲尔德说,目前显微镜图像分析是一个“手工、费力、耗时和繁琐的过程”。这些盒子是手工绘制的,这意味着在一张图像中计算、测量和突出显示细节可能需要20分钟,而且在多次会话中还要乘以数千张图像。

他接着解释说,显微镜图像分析还有其他几个独特的工作流程和环境挑战,包括一些显微镜所在的位置没有互联网接入。尽管如此,由于人们熟悉如何使用网络浏览器和云,他们设计了一个独特的解决方案。他们的目标是将边缘计算设备与机器学习和网络技术结合起来,他说,“这样我们就可以获得熟悉云基础设施的优势,但我们也可以在我们的封闭环境中这样做。”

结果就是Theiascope的概念。

Theiascope概念
Theiascope概念

将Grafana作为一个平台将这一想法变成了现实。在解释为什么Grafana是他们项目的首选时,Field说:“有可视化、定制和异构数据源。对我来说,这就是格拉芙娜。”

随后Volkov接手并讨论了Theia应用插件,该插件由数据源和各种面板组成。然后他简要介绍了这个应用程序的外观,首先是一个显示模型管理、作业管理、日历、CPU、GPU和磁盘使用情况的主仪表盘。

Theiascope家庭仪表盘
Theiascope家庭仪表盘

演示

为了展示该应用程序在采集过程和实时流媒体中的工作情况,两人使用了纽约和东京的实时摄像头,以及一个YOLO COCO模型(可在GitHub上获得),该模型可以识别80类对象,如汽车、人和公共汽车。

Grafana的一个面板显示的是被发现对象的类型,而时间序列框则记录了模型的表现以及它看到了多少不同的对象。菲尔德随后演示了他如何回到仪表盘,深入研究模型中发生了什么。

Volkov仔细观察了“面板的力量”,并强调了他们选择Grafana作为Theiascope的更多原因。最主要的功能包括选择亮或暗接口的能力(“非常适合科学家工作的不同条件”),实时导出文件的方便,以及高度可定制的功能。

工作中的部署

Theia Scientific已经在包括阿贡国家实验室在内的多个地点部署了该平台,在那里,他们在一台显微镜上安装了11个边缘计算设备。这意味着他们可以同时运行多达11个型号,并拥有11个带有相关信息的仪表盘。

这种影响是显著的:“这就像有11个研究生坐在那里,在那些黑点周围疯狂地画小盒子,”菲尔德说。

关于Theia申请的更多信息,请查看菲尔德和沃尔科夫最近的文章博客

Grafana云是开始使用度量、日志、跟踪和仪表板的最简单方法。我们对每个用例都有一个慷慨的免费永久层bob体育手机二维码和计划。现在就免费注册