早在2021年11月,Grafana实验室释放bob电竞频道版本2.4的Grafana洛基。其中的一个新功能它包括了Promtail卡夫卡消费者可以很容易地摄取信息的卡夫卡而成洛基用于存储、查询和可视化。
卡夫卡一直是一个重要的分布式流媒体数据架构的技术,所以我想分享一个工作示例如何使用它来帮助您入门。如果你想要尝试一下,你所需要的Grafana云- - - - - -永远注册一个免费账户bob体育手机二维码。
最基本的
日志是指标的一个重要组成部分,日志和跟踪三部曲,尽管日志通常只认为是日志行(行文本数据)和一个时间戳字段标签响应时间等指标或HTTP错误代码。这些类型的日志行往往来自tail-written文件写的基础设施上运行的应用程序和服务。
开源项目Grafana洛基日志提供了Prometheus-like体验,但,它有一些很有趣性能和成本优势相对于传统的日志解决方案。bob彩票中奖计划
Grafana洛基提供了极大的灵活性来摄取和查询通常在JSON格式的日志数据以及数据是基于事件的。这开辟了新的可能性等基于事件的用例使用洛基推动物联网设备位置数据(坐标),环境数据(温度、湿度、雨),和工业资产管理数据。
的Grafana代理和Promtail提供单实例二进制源代理,解析(提取指标,相关指标)和管道日志,然后转发给洛基。
使用服务发现功能Grafana代理和Promtail日志可以来自:
- Kubernetes豆荚
- 在Linux上杂志上刮
- Windows事件日志
- Gcplog (GCS水桶,负载均衡器等)。
- Syslog接收机
- HTTP客户端
开始
在GitHub库Grafana卡夫卡的例子,你会找到你所需要的所有组件产生消息卡夫卡代理,使用Promtail消耗它们,和远程写Grafana洛基。
在架构上,部署是这样的:
四个容器用于部署:
- 制作人:生成合成信息和将他们推到卡夫卡代理
- Promtail:消耗卡夫卡消息和远程写入Grafana洛基
- 卡夫卡代理:管理话题,分区,生产者、消费者、和消息
- 动物园管理员:跟踪卡夫卡节点的状态
Grafana洛基摄食,商店,使查询日志消息的接收来自Promtail和Grafana提供了可视化的功能创建仪表板和消息。
规模和冗余处理如下:
如您所见,卡夫卡代理创建主题grafana有四个分区。分区允许规模生产者和消费者通过提供独立的溪流流过的消息。
制片人是一个容器;然而,它一再安排四个并发线程,每个线程产生消息的分区,分别。
对面的两个Promtail消费者自动平衡四个分区。应该Promtail意外终止实例之一,卡夫卡将调整分区剩余Promtail实例。同样,如果更多Promtail实例动态添加到消费者团体,再平衡将发生,尽可能均匀分配分区的消费者。
鉴于此部署跨生产者线程并发,卡夫卡主题分区,和多个Promtail消费者,有一个可能的机会,将收到的消息Grafana云日志略。幸运的是,Grafana云日志处理无序的写用一个小时的时间窗口,所以日志,一小时旧将被接受。
自己试试,克隆存储库并遵循的指令给我读卡夫卡生产商的集成工作,代理,Promtail生产商Grafana云日志写消息。
可视化的日志
存储库包括仪表板可视化数据的一个例子。仪表板应导入Grafana与日志和配置数据源。
Grafana仪表板下面可视化洛基由生产者容器,并使用生成的数据可视化面板包括Geomap杆规、日志和统计数据。每个小组使用一种不同的LogQL查询说明不同查询类型,包括:查询返回线的内容,查询计算值基于查询结果,使用日志管道、聚合和日志范围。
分享你的想法!
现在,信息可以从卡夫卡注入Grafana洛基,你现在可以使用Grafana汇集你的日志和其他可观察性遥测去探索,查询、可视化、警报,和分享的更完整的视图数据与您的团队。
我希望你会发现这些内容和工作有用的例子。如果你有任何的反馈,随时与我们联系bob电竞频道Grafana实验室社区松弛工作区,或通过直接接触我电子邮件。
最简单的方法开始Grafana洛基与Grafana云。如果你不已经有一个账户,在14天的免费试用注册现在Grafana云无限的度量,日志、痕迹和用户,长期保留和访问一个企业插件。
