忒伊亚科学和沃尔科夫实验室如何使用Grafana和人工智能分析科学图片

Christopher Field博士是创始人,总裁和首席研究员忒伊亚科学。正规教育在分析化学和仪器,克里斯在科学专业的硬件和软件设计,部署嵌入式Linux设备物联网(物联网)和传感器融合应用,和开发计算机视觉和图像处理管道细胞分析。

米哈伊尔·沃尔科夫是罗蒙实验室是公司创始人兼CEO,他们正在开发开源和商业Grafana的定制插件。

Click-drag-click。研究人员、技术人员和工程师使用显微镜知道鼠标操作。这个简单的重复的行动可能导致重大成果:确定一个病人生病时,如果电厂钢结构是有缺陷的,或者如果一个工厂是制造有缺陷的计算机芯片。连续点击和拖动可以几秒钟或几小时,这是任何量化的效益和诅咒数码显微镜工作流。我们可以评估我们周围的世界,但它是一个重复,最终艰难的过程。

最近,一直在努力数码显微镜工作流转换成一个单一的点击,释放了一个人工智能(AI)算法。对于材料科学,它可以在纳米尺度上寻找缺陷,如额外的或缺失的材料;用于医学研究,发现肿瘤细胞的核磁共振。同样的算法,帮助自动车辆找到和量化特性在眨眼之间。这项工作表明,类似人类的性能是可行的,但目前没有广泛使用的解决方案,能够真正地实现一键式人工智能科学的分析图像,没有提供实时量化和可视化在运行一个显微镜。

忒伊亚科学(边缘计算架构专家科学仪器,数据分析,和AI模型开发)罗蒙实验室(一个机构专门从事定制插件开发Grafana)联手改变这种情况。我们创建了Theiascope™平台,其中包括应用程序专门为增高显微镜使在任何数字显微镜实时分析成为可能。

应用程序的最初原型作为一个独立的web应用程序与一个简单的网站和REST API之间的紧密集成。它使用一个单独的Grafana实例用于可视化和策划。不断在两个独立的应用程序之间切换而做实验是不方便,所以忒伊亚科学迁移AI模型管理和图像采集接口为一个Grafana接口与一个更好的用户体验(UX)。

密歇根大学的显微镜工作者在一个网站访问在阿贡国家实验室的IVEM设施使用电子显微镜的左边控制软件监控和Theiascope™平台实时图像分析和定量监测。

解决方案架构

忒伊亚应用程序是基于Grafana平台。它提供了所有必需的工具和组件与REST API进行交互和可视化的结果在仪表盘面板使用自定义插件。允许本地Grafana仪表板定制,所有组件都分为自定义面板。

图像获取所有现代web浏览器支持使用各种网络协议;单个帧涌入一个PostgreSQL数据库。REST API是利用可视化获取图像和AI-powered完全可定制的仪表板内定量结果。这个强大的组合使科学家和工程师使用各种形式的电子和光学数字显微镜完全自定义用户界面,per-microscope,每个实验中。

架构图Grafana忒伊亚应用程序的插件。

忒伊亚应用程序为Grafana平台包括创建插件忒伊亚API数据源管理的人工智能模型(检测算法),获得图像,并执行AI-powered定量。它有五个自定义面板:

• 的收购委员会捕捉影像从各种来源并将它们发送给忒伊亚API数据源进行处理。
• 的模型管理面板用于上传、配置和启动各种家庭和人工智能模型的体系结构,如YOLO,意思UNet, RCNN。
• 的导航面板是为审查和重演科学实验。
• 在愿景板,用户可以查看获得的图像与AI-powered分析和定量的结果。
• 的时间面板检查和调整时间同步。

应用程序提供了一些仪表盘,根据用户很容易修改,显微镜,和/或实验。

Grafana允许创建完全自定义的仪表板使用自定义面板。三种不同的人工智能模型操作电子显微镜时同时运行。专门为实验结果的颜色和人工智能模型的用户。

大多数大学、国家实验室和工业环境的互联网连接受限对科学仪器和检测设备。因此,社区面板和数据源都纳入忒伊亚应用程序,以避免外部连接问题。

忒伊亚应用程序使用以下Grafana社区插件:

• 日历插件看到这本书为当前月的实验。
• 环境数据源获取环境变量的运行时环境。

日历的主页面板允许查看个人显微镜会话,忒伊亚应用程序用于当前月。

面板的力量

这是进一步分解忒伊亚是如何Grafana板工作,用户可以使用他们监视和观察。

模型管理和采购

在模型管理面板,用户可以添加人工智能模型配置文件和创建模型运行时环境中基于存储的添加和配置文件。面板使用忒伊亚API数据源与REST API交互模型加载到设备的硬件加速的图形处理单元(GPU)图像分析和定量。模型加载到GPU上后,它可以用来获取实验数据并在运行任何数码显微镜获得定量结果。

当模型被选中时,用户获得访问收购仪表板与按钮启动收购过程和流到人工智能模型运行在GPU上的图像。收购提供了几个参数和控制面板中,选择的视野(FOV)等规模和定位杆将像素的测量转化为工程单位。

动画演示AI模型初始化和图像采集开始Grafana-based忒伊亚web应用程序运行Theiascope™平台总体目标检测和图像定量。

模型管理面板允许用户管理同时AI模型切换每个模型的平滑图像采集。结果可以共享远程显示器,比如电视,办公室电脑,甚至是一个移动设备如平板电脑或智能手机。

生活的科学实验结果从两个人工智能模型被认为在一个偏远的显示而显微镜化验员的阿贡国家实验室的电子显微镜。

视觉和导航面板

这两个板是审查和重播科学实验。在视觉上面板,用户查看捕获的图像和可视化AI-powered分析结果作为边界框覆盖到获得图像基于所选择的模型。

导航面板提供了一系列toolbar-like按钮,类似于一个视频播放器。用户可以查看以前的,接下来,第一,最后图像与一个开始/暂停播放按钮,播放在选定的时间间隔速度不同(可调整面板的选项)。

缺陷增长的导航面板允许审查收购后数据分析和科学发现。

研究的挑战

在开发过程中,我们遇到了一些挑战,基于Grafana平台的分布式应用程序。

解决连接设备的时间同步问题和不可用的国家结核控制规划服务器在一个受限制的环境中,我们创建了一个特殊的时间同步。能看到一个终端用户的浏览器之间的差异和增强边缘上的系统时间计算设备运行忒伊亚应用程序。完善小组在未来的版本中,允许调整的系统时钟和时区计算设备。

使用Grafana分布式和/或嵌入式应用程序是一个常见的用例。因此,社区没有创建了一些有价值的组件所需的应用程序部署在边缘计算设备在network-constrained环境中,如Theiascope平台。这也是一个问题研究与发展实验室的操作环境,使用先进的显微镜。我们遇到了一个特定的问题是环境变量不用于仪表板识别设备和看到指定的参数。为了填补这一空缺,我们创建了环境数据源在仪表板,它返回环境变量来显示或使用作为变量来检索数据。

忒伊亚应用程序由多个容器,无缝地协同工作。一些容器提供普罗米修斯指标,但我们想要一个更详细的运行的人工智能模型和视图使用资源来帮助我们的客户解决出现的任何问题。我们正在创建额外的数据源,并将与社区分享当准备好了。

接下来是什么

的Theiascope™技术和忒伊亚应用程序基于Grafana平台已经成功测试了在生产环境中密歇根大学,爱达荷国家实验室,阿贡国家实验室。Grafana简单的几分钟内让用户感到舒适做实验。

忒伊亚原型设计后,花了不到两个月为应用程序创建,这是所花费的平均时间至少有价值的产品(MVP)应用程序插件Grafana。我们将继续添加新特性从MVP过渡到一个全功能的平台,将能够与遗产科学数据分析桌面应用程序。

确认

我们这些在忒伊亚要感谢工作人员和人员而大学,爱达荷国家实验室和美国阿贡国家实验室举办期间访问我们的网站和技术示范。具体来说,我们要感谢Lingfeng他在爱达荷国家实验室和劳拉·霍金斯,阿贡国家实验室的陈军魏莹,Priyam Patki和凯的太阳在密歇根大学与我们合作运行Theiascope™技术在电子显微镜和大量的用户反馈。我们还要感谢研究生,Kesley绿色和罗伯特•Renfrow的省的实验室大学组织而使电子显微镜实验网站访问期间在阿贡国家实验室。

这种材料是基于工作由美国能源部科学办公室,办公室核能在DE-SC0021936奖号码。

你可以找到更多关于忒伊亚场和沃尔科夫GrafanaCONline 2022会话6月15日。

了解更多关于所有的GrafanaCONline 2022事件,免费注册!- - - - - -在这里。