在边缘处部署Kafka的用例与架构

译文
开发 前端 Kafka
本文通过介绍边缘处Kafka的用例与架构,帮助您更好地了解如何在各个行业中,利用事件流和工具来构建从边缘到云端的物联网架构。

【51CTO.com快译】如今,在IoT(物联网)的边缘处,使用Apache Kafka来进行事件流传输,已不再是什么高深的技术了。作为一种通用的方法,Kafka在边缘处提供了与云端、以及数据中心,相同的开放、灵活且可扩展的架构。它是横跨IoT和非IoT(如:传统数据中心和云端基础架构)的流式神经系统的基本组件。实际上,Kafka可以被部署在零售商店、手机信号塔、火车、小型工厂、以及饭店等各种边缘位置。

本文将重点向您介绍Kafka客户和Kafka代理(brokers)在跨行业边缘处的用例与架构,其中包括边缘的处理、集成、去耦、低延迟、以及经济高效的数据处理。

Kafka在边缘的类别和体系架构

大多数物联网项目的构建,都与在数据中心或云端的普通Kafka项目有着本质的区别。它们无法提供可靠的Kafka集群,以及在云端建立稳定的网络连接,而具有如下的边缘功能:

  • 由于没有与中央数据中心、或云端的高可用性连接,因此不具备一些本地的预处理,低延迟的实时分析,低带宽的断续连接等,而离线式的业务连续就显得非常重要。
  • 项目通常需要在零售店、火车、饭店、手机信号塔、小型工厂等数百个地点部署Kafka代理。因此,单个代理虽然不需要高可用性,但是要能够承受背压(backpressure),并提供本地的处理能力。
  • Kafka代理(不仅是客户端)需要低空间占用率,少接触,以及尽量少的DevOps安装必需性(即:几乎没有IT人员到现场运维Kafka)。因此,使用经过认证的OEM硬件,是在边缘安装和操控Kafka的绝佳选择。
  • 许多边缘用例都会涉及到传感器和遥测数据(telemetry data)。与不能丢失每条交易数据的电商系统不同,IoT应用场景允许在每秒处理数百万条消息的应用中,丢失少量消息,而且不会影响到最终的计算结果。
  • 混合云或非云:消费物联网(Consumer IoT,CIoT)会涉及到智能家居、共享乘车、零售商店等环境,而工业物联网(Industrial IoT,IIoT)则会涉及到汽车、食品、能源等生产场景。
  • 通常包含了传感器、主机、移动设备等成千上万个连接接口。

边缘处Kafka的用例

总的说来,Kafka在边缘处的体系架构和部署场景会包括:数据集成,预处理,云端复制,边缘大(小)数据的处理和分析,连接中断时的脱机方案,具有数百个点位的极低硬件空间占用率方案,以及非高可用性的方案等。下面,我们来看几个典型行业的应用:

  • 公共服务部门:由政府行政机构牵头的公共交通管理,来自不同汽车制造商的各种车联网平台的集成,图像捕获和处理,物联网安全等智慧城市的项目。
  • 运输/物流/铁路/航空:在列车上,Kafka可用于离线处理和本地存储,航旅信息的Track&Trace(包括延迟或取消等信息的跟踪),实时的用户忠诚度平台(包括舱位的升级,休息室的使用权)。
  • 汽车/航天/半导体/化工/食品等制造业:物联网售后客户服务,机器和车辆的OEM,嵌入式标准软件(如:ERP或MES系统),设备/机器/生产线的数字孪生/流程,以及通过监控工厂的生产线,执行预测性的维护,质量控制,仪表板/车间/外围健康状况的跟踪等。
  • 能源/公用事业/石油和天然气:智能家居/建筑/电表,远程设备的监控(如:钻探机、风车或采矿机),针对管道和炼油操作的预测性异常检测与故障诊断。
  • 电信/媒体:OSS(运营支撑系统)的实时监控,指标报告,问题分析,根本原因分析,网络设备和基础设施(如:路由器、交换机、及其他网络设备)的响应,BSS(业务支撑系统)的客户体验,OTT服务(各种第三方移动应用的集成),以及5G边缘(如:街道上的传感器)设备的状态。
  • 医疗保健:在医院中实施追踪,远程监控,设备传感器分析等。
  • 零售/食品/餐厅/银行业务:客户沟通,交叉销售,忠诚度分析,零售付款,库存盘点,PoS机集成,远程CRM集成,以及EFTPOS(销售点的电子资金转帐)。

我们曾经为一个零售快餐连锁品牌--Chic-fil-A,部署了针对边缘计算的相关服务。我们在其2000家餐厅中都部署了Kubernetes集群(请参见--https://www.infoq.com/presentations/chick-fil-a-k8-clusters/),以便在没有互联网连接的情况下,仍然可以凭借着边缘计算实现实时的分析(请参见--https://medium.com/@cfatechblog/edge-computing-at-chick-fil-a-7d67242675e2)。下图是他们的硬件边缘设备,外观体积非常小,内部配置了Intel四核处理器、8 GB RAM和SSD。

边缘架构示例:运输和物流行业的Kafka

让我们通过一个铁路公司的特定案例,来具体讨论边缘处的Kafka混合方案。该方案利用离线式边缘处理,实现了客户通信,云端复制分析,以及与第三方合作伙伴的接口和API相集成。虽然这是一个铁路和运输行业的例子,但是我们可以轻松地将其映射到其他的行业中。

混合架构—从边缘到云端

设想,一列火车正在边缘处对产生的信息进行局部处理。如果有互联网连接和免费的网络资源,那么这列火车会将相关的数据实时复制到云端。而如果火车在行进中失去网络连接,那么Kafka将处理背压,并在网络连接恢复时将数据复制到云端。下图是在边缘和云端用到的Kafka混合架构:

Kafka在边缘处的事件流

如下图所示,火车在边缘处使用Apache Kafka,实现对实时消息/事件流的传递和背压处理。

在掉线/离线场景中使用Kafka

火车在驶过隧道或到达没有网线连接的区域时,就会出现离线的情况。此时,我们需要火车上的边缘设备仍然可以进行本地处理。毕竟,业务连续性是改善客户体验和增加销售量的关键因素。即使火车处于离线,乘客仍然需要通过移动应用,来查看时刻表信息,在餐厅购买食物,或在火车的本地服务器上观看电影。同时,一旦火车重建互联网连接,乘客的购买交易将会被转移到云端的用户忠诚度系统中,需要查询的最新消息也会从云端被传递(consume)过来,并存储在火车的边缘--Kafka代理处。下图展示了Kafka在离线和断开连接的模式下,如何在边缘处进行数据处理。

跨公司的Kafka和边缘整合

由于数据处理会在边缘(如:火车)和云端系统(如:CRM、忠诚度系统等)之间的整合系统中持续发生,因此不同的合作伙伴也要进行此类整合。与通过非扩展性的同步REST API调用/API管理,进行合作伙伴间的整合相比,使用Kafka原生的事件流复制机制,是一种更好、更具可扩展性的方法。下图展示了合作伙伴之间如何进行跨公司的Kafka复制与API管理。

在边缘部署Kafka的基础架构和硬件要求

下面我们来讨论如何在边缘处部署Kafka。注意,Kafka需要目标系统具有一定的计算能力。这取决于您正在使用的:硬件供应商、基础架构、特定的SLA、以及高可用性要求等诸多因素。值得庆幸的是,Kafka可以被部署在包括裸金属(bare metal)、虚拟机、容器、Kubernetes在内的许多基础架构中。而当前厂商能够生产的、可被用在边缘处的最小芯片通常具有4GB、8GB、甚至16GB的RAM。

在实际应用中,运行Kafka所需的最低硬件配置为:单核处理器 + 几个100MB的RAM。该配置已经能够让单个Kafka节点(复制因子 = 1)以超过100Mb/sec的吞吐量进行边缘处理了。当然,实际数值也会取决于分区的数量、消息的大小、网络的速度等各方面的因素。这与数据中心或云端的性能和可扩展性肯定是没法比的。

所以说,您可以将Kafka代理部署在树莓派(Raspberry Pi)上,但不能部署到小型嵌入式设备上,毕竟我们可以在设备上运行Kafka客户端。

在边缘处部署Kafka的“Confluent Way(融合方式)”

从技术角度来看,在边缘处部署Kafka与在数据中心或云端比较类似,只是环境和要求有所不同。而且一些附加的功能还会方便我们部署和操作Kafka。下面,让我们来了解一下Confluent部署方式的创新与差异化功能:

1. Confluent服务器包含了Kafka代理和各种增强型功能,其中包括:自平衡群集、分层存储、嵌入式REST API、服务器端模式验证等。它可以被部署为单个节点(非常轻便,但不具备高可用性)或群集模式(主要针对依赖于边缘处高可用性的关键任务负载)。

2. 虽然目前该方式仍需要ZooKeeper作为附加组件,以实现协同工作,但是预计2021年将不再需要。届时,它将是一个由Kafka支持的、独立且单流程化的边缘解决方案。

3. 群集链接(Cluster Linking,请参见--https://www.confluent.io/blog/kafka-cluster-linking-with-confluent-platform)允许所有小的Kafka边缘站点使用Kafka协议,连接到数据中心或云端更大的Kafka群集中,而无需使用诸如Confluent Replicator或MirrorMaker等其他工具与架构。据此,开发人员可以大幅减少在基础架构上的成本与工作量。

4. 使用Confluent的工具集,来进行监控和主动支持(Proactive Support,请参见--https://docs.confluent.io/5.4.0/proactive-support.html)。例如,一个控制中心可以监控几个不同的远程Kafka群集。受监控的目标不仅包括技术架构,还包括应用程序,以及端到端的集成。而Confluent Telemetry Reporter(请参见--https://docs.confluent.io/current/kafka/telemetry.html#what-data-is-sent-and-how-it-is-used)则会从边缘站点收集相关的数据。

5. 目前,Kubernetes(MicroK8s Kubernetes发行版,请参见--https://microk8s.io/)正在成为许多边缘部署的首选编排平台。Confluent Operator恰好能以CRD(自定义资源定义,https://kubernetes.io/docs/tasks/extend-kubernetes/custom-resources/custom-resource-definitions/)的方式,提供了对边缘处单一代理、或群集部署的滚动升级、以及安全自动化等操作功能。前文提到的Chic-fil-A其在2000多家快餐店中运行着Kubernetes(请参见--https://medium.com/@cfatechblog/edge-computing-at-chick-fil-a-7d67242675e2),并提供各项低延迟的边缘服务,恰恰是Confluent Operator在Confluent Cloud和数据中心内Confluent Platform上进行大型实际部署的成功案例。当然,Kubernetes是按需选用的。有些边缘处在使用了Kubernetes后,反而增加了复杂性,以及对于有限资源的耗费。

6. 由于数据集成和数据处理是边缘计算的关键,Confluent提供了用于新旧系统的连接器,其中包括针对PLC、OPC-UA和IIoT集成的PLC4X(请参见--https://www.kai-waehner.de/blog/2019/09/02/apache-kafka-ksql-and-apache-plc4x-for-iiot-data-integration-and-processing/)、数据库CDC的连接器、MQ与MQTT的集成、云端连接器、以及用于高安全性或“肮环境”中的单向UDP网络的Data Diode连接器(请参见--https://docs.confluent.io/current/connect/kafka-connect-data-diode/index.html)。当然,Kafka Streams和ksqlDB则允许轻量级且功能强大的事件流处理。

7. 轻量级边缘客户端(如:嵌入式设备)可以利用Kafka和REST代理的C与C++客户端上的API(请参见--https://github.com/edenhill/librdkafka),通过HTTP(S)与任何编程语言进行通信。这对于许多计算能力有限的低功率边缘设备来说是非常重要的。毕竟,我们在这些设备中无法部署Java、或类似的“资源密集型(resource-hungry)技术”。

8. 您也可以选择将已认证的、预配置的OEM硬件放置在边缘处,将其连接到LAN或WiFi上,然后使用由硬件商提供的远程软件,对基础架构进行管理和监控。“在Hivecell上进行可行性处理”的视频(请参见--https://medium.com/hivecell/feasible-video-processing-on-hivecell-a28f9a059ccf)展示了如何通过Kafka集群、Kafka Streams应用、以及用于图像识别的嵌入式机器学习模型,进行边缘分析。

小结

作为绝佳的边缘解决方案,Kafka使您能够在边缘处、数据中心和云端,部署同样开放、可靠、且可扩展的技术。希望上述介绍的有关边缘处Kafka的用例与架构,能够帮助您更好地了解如何在各个行业中,利用事件流和工具来构建从边缘到云端的物联网架构。

原文标题:Kafka at the Edge — Use Cases and Architectures,作者:Kai Wähner

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

 

责任编辑:华轩 来源: 51CTO
相关推荐

2022-08-03 14:04:33

边缘计算云计算

2020-01-15 09:00:00

物联网边缘计算Kafka

2020-10-11 16:55:06

边缘计算网络云计算

2022-09-02 17:51:32

边缘计算物联网

2022-08-24 10:48:44

边缘物联网边缘计算物联网

2023-10-09 06:55:48

云计算部署互联网

2022-09-23 14:05:53

边缘计算工业部门

2021-12-06 13:59:20

边缘计算互联网5G

2023-10-24 15:56:08

边缘计算

2019-12-05 17:52:12

人工智能机器人网络安全

2023-11-02 09:00:00

Kubernetes集群

2023-01-18 10:44:15

RedpandaKafkaAPI

2022-05-18 09:21:44

边缘计算云计算CIO

2023-07-26 11:26:42

2020-12-10 09:28:46

AI部署深度学习

2020-12-09 15:02:06

AI深度学习边缘

2020-06-22 10:33:52

云计算边缘计算IT

2020-02-06 15:17:13

物联网医疗保健边缘计算

2020-02-28 08:21:37

制造业边缘计算物联网

2021-12-07 07:32:09

kafka架构原理
点赞
收藏

51CTO技术栈公众号