Theia科学和Volkov实验室如何使用Grafana和AI分析科学图像

Christopher Field博士是Theia Scientific的联合创始人、总裁和首席研究员。Chris接受过分析化学和仪器仪表方面的正规教育，在科学硬件和软件设计方面拥有专业知识，为物联网(IoT)和传感器融合应用部署嵌入式Linux设备，并为细胞分析开发计算机视觉和图像处理管道。

Mikhail Volkov是Volkov实验室的创始人兼首席执行官，他们正在为Grafana开发开源和商业定制插件。

Click-drag-click。使用显微镜的研究人员、技术人员和工程师都非常了解鼠标操作。这种简单的重复动作可以导致重要的结果:确定病人是否生病，发电厂的结构钢是否有缺陷，或者工厂生产线是否正在生产有缺陷的计算机芯片。连续的点击和拖动可能需要几秒钟或几个小时，这是任何定量数字显微镜工作流程的好处和坏处。我们可以评估周围的世界，但这是一个重复且费力的过程。

最近，人们努力将数字显微镜工作流程转换为一次点击，从而释放人工智能(AI)算法。对于材料科学来说，它可以在纳米尺度上寻找缺陷，比如额外的或缺失的材料;对于医学研究来说，它可能是在核磁共振成像中发现肿瘤细胞。这是同一种算法，可以帮助自动驾驶汽车在眨眼间找到并量化特征。这项工作已经证明，类似人类的性能是可以实现的，但目前还没有广泛可用的解决方案，真正实现对科学图像的一键式AI分析，而且没有一种解决方案可以在运行显微镜时提供实时量化和可视化。

忒伊亚科学(科学仪器、数据分析和人工智能模型开发的边缘计算架构专家)和罗蒙实验室(专门从事自定义插件开发的机构Grafana)联合起来改变这一现状。我们已经创建了Theiascope™平台，其中包括专门为人工智能增强显微镜设计的应用程序，可以对任何数字显微镜进行实时分析。

应用程序最初的原型是一个独立的web应用程序，在简单的网站和REST API之间紧密集成。它使用了一个单独的Grafana实例用于可视化和绘图。在做实验时经常在两个独立的应用程序之间切换是不方便的，因此Theia Scientific将AI模型管理和图像采集界面迁移到Grafana中，以获得更好的用户体验(UX)。

一名密歇根大学的显微镜学家在阿贡国家实验室的IVEM设备现场访问时，在左边显示器上使用电子显微镜的控制软件，在右边显示器上使用Theiascope™平台进行实时图像分析和定量。

解决方案架构

Theia应用程序基于Grafana平台。它提供了与REST API交互所需的所有工具和组件，并使用自定义插件在仪表板中可视化结果。为了允许本地Grafana仪表板定制，所有组件都被分离到定制面板中。

图像是通过所有现代网络浏览器支持的各种网络协议获得的;单独的帧被流到PostgreSQL数据库中。然后，利用REST API在完全可定制的仪表板中可视化获取的图像和人工智能支持的量化结果。这种强大的组合使使用各种形式的电子和光学数字显微镜的科学家和工程师能够在每个用户、每个显微镜和每个实验的基础上完全自定义UI。

Grafana的Theia应用程序插件的架构图。

为Grafana平台创建的Theia应用程序插件由Theia API数据源管理AI模型(检测算法)，获取图像，并执行人工智能量化。它有五个自定义面板:

• 的收购委员会从各种来源捕获图像，并将它们发送到Theia API数据源进行处理。
• 的模型管理面板用于上传、配置和初始化各种AI模型家族和架构，如YOLO、UNet和RCNN。
• 的导航面板是用来回顾和回放科学实验的。
• 在愿景板，用户可以看到通过人工智能分析和定量结果获得的图像。
• 的时间面板检查和调整时间同步。

该应用程序提供了几个仪表板，可以根据用户、显微镜和/或实验轻松修改。

Grafana允许使用定制面板创建完全可定制的仪表板。在操作电子显微镜的同时，三个不同的AI模型同时运行。结果由用户对实验和AI模型进行了专门的颜色编码。

大多数大学、国家实验室和工业环境都限制了科学仪器和检测设备的互联网连接。因此，所有社区面板和数据源都被合并到Theia应用程序中，以避免外部连接问题。

Theia应用程序使用以下Grafana社区插件:

• 日历插件看看本月的实验手册。
• 环境数据源从运行时环境检索环境变量。

带有Calendar面板的主页允许查看当月使用Theia应用程序的单个显微镜会话。

面板的功率

下面是Theia的Grafana面板如何工作以及用户可以使用它们监视和观察的进一步分解。

模型管理与获取

在“模型管理”面板中，用户可以添加AI模型配置文件，并根据添加和存储的配置文件创建模型运行时环境。该面板使用Theia API数据源与REST API交互，将模型加载到设备的图形处理单元(GPU)上，用于硬件加速图像分析和定量。在将模型加载到GPU上后，可以在运行任何数字显微镜时用于捕获实验数据并获得定量结果。

当选择模型时，用户可以通过按钮访问采集仪表板，以启动采集过程，并将图像传输到GPU上运行的AI模型。在采集面板中提供了一些参数和控制，例如选择一个视场(FOV)和定位一个比例尺，将像素测量转换为工程单位。

一个动画演示了AI模型启动和开始使用基于grafana的Theia web应用程序进行图像采集，该应用程序运行Theiascope™平台进行一般对象检测和图像定量。

模型管理面板允许用户通过在每个模型之间切换来管理同步的AI模型，以实现平滑的图像采集。测试结果可以在远程显示器上共享，比如电视、办公电脑，甚至是平板电脑或智能手机等移动设备。

在阿贡国家实验室，显微镜学家操作电子显微镜时，两个人工智能模型的科学实验结果在远程显示器上进行了查看。

视觉和导航面板

这两个小组是用来回顾和回放科学实验的。在视觉面板中，用户可以查看捕获的图像，并将ai驱动的分析结果可视化为基于所选模型覆盖在获取图像上的包围框。

导航面板提供了一系列类似于视频播放器上的工具栏按钮。用户可以通过开始/暂停播放按钮查看上一个、下一个、第一个和最后一个图像，并以不同的速度播放所选的时间间隔(可以在面板的选项中进行调整)。

导航面板允许对获取后的数据分析和科学发现的缺陷增长进行审查。

审视挑战

在开发过程中，我们遇到了一些基于Grafana平台的分布式应用程序的挑战。

为了解决连接设备的时间同步问题以及在受限环境中NTP服务器不可用的问题，我们创建了一个特殊的时间同步面板。这样就可以看到终端用户浏览器和运行Theia应用程序的gpu驱动的边缘计算设备上的系统时间之间的差异。我们将在未来的版本中改进面板，以允许调整边缘计算设备的系统时钟和时区。

将Grafana用于分布式和/或嵌入式应用程序是一种不常见的用例。正因为如此，社区还没有创建部署在网络受限环境中的边缘计算设备上的应用程序所需的一些有价值的组件，比如Theiascope平台。在使用尖端显微镜的研发实验室的操作环境中，这也是一个问题。我们遇到的一个具体问题是，仪表板无法使用环境变量来识别设备和查看分配的参数。为了填补这一空白，我们创建了环境数据源，它返回环境变量以显示在仪表板上或用作检索数据的变量。

Theia应用程序由多个容器组成，它们无缝地协同工作。一些容器提供普罗米修斯但我们希望对正在运行的AI模型有更详细的了解，并使用资源帮助我们的客户解决出现的任何问题。我们正在努力创建更多的数据源，并将在准备就绪时与社区共享。

接下来是什么

Theiascope™技术和基于Grafana平台的Theia应用程序已经在密歇根大学、爱达荷国家实验室和Argonne国家实验室的生产环境中成功测试。Grafana的简单性让用户在几分钟内就能轻松完成实验。

Theia原型设计完成后，应用程序的创建只花了不到两个月的时间，这是为Grafana制作一个最小价值产品(MVP)应用程序插件所需的平均时间。我们将继续添加新功能，从MVP过渡到功能齐全的平台，能够与传统的科学数据分析桌面应用程序竞争。

致谢

我们Theia的工作人员要感谢密歇根大学安娜堡分校、爱达荷国家实验室和阿贡国家实验室的工作人员，感谢他们在我们的实地考察和技术演示期间接待我们。具体来说，我们要感谢爱达荷国家实验室的何凌峰和劳拉·霍金斯，阿贡国家实验室的陈伟英，以及密歇根大学的Priyam Patki和孙凯，他们与我们合作，在他们的电子显微镜上运行Theiascope™技术，并获得了广泛的用户反馈。我们还要感谢研究生凯斯利·格林和罗伯特·伦弗洛省的实验室密歇根大学安娜堡分校的研究小组在阿贡国家实验室进行实地考察期间进行了电子显微镜实验。

本材料是基于美国能源部、科学办公室、核能办公室在DE-SC0021936号奖励下支持的工作。

更多关于Theia的信息，请访问Field和Volkov的GrafanaCONline 2022年会议6月15日。

了解更多关于2022年GrafanaCONline活动的信息-并免费注册!- - - - - -在这里．