在物联网 (IoT) 基础设施上使用人工智能 (AI) 的软件应用,被称为“AIoT”。构建 AIoT 应用程序的 3 个阶段包括 :数据收集、训练和推理。图片来源 :Moxa
工业物联网(IIoT)应用正在产生比以往任何时候都多的数据。在很多工业应用中,尤其是位于偏远地区的高度分散的系统中,定期向中央服务器发送大量原始数据可能无法实现。为了减少延迟、降低数据通信和存储成本,同时提高网络可用性,企业正在将人工智能 (AI) 和机器学习 (ML) 转移到边缘www.cechina.cn,以便在现场进行实时决策和行动。
这些在物联网基础设施上部署 AI 功能的应用,被称为人工智能物联网 (AIoT)。尽管 AI 模型仍在云端进行训练,但可以在边缘计算机上部署经过训练的 AI 模型CONTROL ENGINEERING China版权所有,从而在现场实现数据收集和推理。那么,如何为工业 AIoT 应用选择合适的边缘计算机呢?
大多数 IIoT 数据未经分析
连接到互联网的工业设备近年来增长迅速,预计到 2025 年将达到 416 亿个终端。更令人难以置信的是每台设备产生的惊人数据量。手动分析制造装配线上传感器生成的所有信息,可能需要花费毕生的精力。在《哈佛商业评论》的一篇关于数据策略的文章中指出,在制定决策的过程中,组织的结构化数据往往只有不到一半得到有效的利用,不到 1% 的非结构化数据被分析或应用。
IP 摄像机每天生成的视频数据将近 1.6 EB,其中只有 10% 得到分析。尽管有能力收集更多信息,但这些数字表明,数据分析存在惊人的差距。靠人力是无法分析产生的所有数据的,这就是企业尝试将 AI 和 ML 融入到 IIoT 应用的原因。
设想一下,仅靠人工目视,在制造装配线上,每周 5 天每天 8 小时手动检查高尔夫球上微小缺陷的应用场景。即使有一大批检查人员,每个人仍然会容易疲劳,犯人因错误。同样,人工目视检查铁路轨道紧固件,只能在列车停运后的半夜进行,不仅耗 时,而且做起来很困难。人工检查高压电力线和变电站设备,还会使工作人员面临额外的风险。
将 AI 与 IIoT 相结合
在前面讨论的每个工业应用 中,“AIoT”都可以提供降低劳动力成本、减少人为错误和优化预防性维护的能力。AIoT 是指在物联网 (IoT) 应用中采用人工智能技术,以提高运营效率、人机交互以及数据分析和管理。那么我们所说的人工智能到底是什么,它将如何融入工业物联网?
AI 是研究如何构建智能程序和机器,来解决传统上由人解决的问题的一般科学领域。AI 包括 MLwww.cechina.cn,ML是 AI 的一个特定子集,它使系统能够通过经验自主学习和改进,而无需进行编程,例如通过各种算法和神经网络。另一个相关术语是“深度学习”(DL), 它是 ML 的一个子集,其中多层神经网络从大量数据中学习。
由于 AI 是一门覆盖面非常广的学科,本文主要讨论的重点是计算机视觉或 AI 驱动的视频分析。AI 的其它子领域,通常与 ML 结合使用,实现工业应用中的分类和识别。
从远程监控和预防性维护中获取的的数据,到智能交通系统中控制交通信号的车辆识别,到农业无人机和户外巡逻机器人控制工程网版权所有,再到工业产品的微小缺陷自动光学检测等,计算机视觉和视频分析正在为工业应用释放更大的生产力和效率。
将 AI 转移到 IIoT 边缘
IIoT 系统的激增正在产生大量的数据。例如,在大型炼油厂内,大量传感器和设备每天都会生成 1TB 的原始数据。将所有这些原始数据,发送回公共云或私有服务器进行存储或处理,需要相当大的带宽、可用性和功耗。在很多工业应用中,尤其是位于偏远地区的高度分散的系统中,不间断向中央服务器发送大量数据是不可能的。
即使企业拥有带宽和足够的基础设施,部署和维护成本也非常高,数据传输和分析还存在大量延迟的情况。关键任务的工业应用必须能够尽快分析原始数据。
为了减少延迟、降低数据通信和存储成本,并提高网络可用性,IIoT 应用正将 AI 和 ML 功能部署到网络边缘,以直接在现场启用更强大的预处理功能。更具体地说,边缘计算处理能力的进步,使 IIoT 应用能利用边远位置的 AI 决策能力。
通过将现场设备连接到边缘计算机,该计算机配置了强大的本地处理器和人工智能,这样就无需将所有数据发送到云端进行分析。事实上,预计到 2025 年,在远端和近端站点创建和处理的数据将从 10% 增加到 75%,预计到 2024 年,整个边缘 AI 硬件市场将实现 20.64% 的复合年增长率(CAGR)。
为工业 AIoT 选择合适的边缘计算机
在将人工智能引入工业物联网应用时,有几个关键问题需要考虑。尽管与训练 AI 模型有关的 大部分工作仍然在云中进行,但最终企业还是需要在现场部署经过训练的推理模型。AIoT 边缘计算本质上是在现场进行 AI 推理,而不是将原始数据发送到云端进行处理和分析。为了有效运行 AI 模型和算法,工业 AIoT 应用需要可靠的边缘硬件平台。要为工业 AIoT 应用选择合适的边缘计算机时,请考虑以下因素 :
1. 人工智能不同实施阶段的处理要求 ;
2. 边缘计算水平 ;
3. 开发工具 ;
4. 环境问题。
“对于关键任务的工业应用,必须能够尽快分析原始数据。”
构建 AIoT 应用的 3 个阶段
一般来说,AIoT 计算的处理要求与应用需要的计算能力以及是否需要中央处理单元 (CPU) 或加速器有关。由于在构建 AI 边缘计算应用的 3 个阶段中,每个阶段都使用不同的算法来执行不同的任务,因此每个阶段都有自己的处理要求。
1 数据收集
这一阶段的目标是获取大量信息来训练 AI 模型。未经处理的原始数据本身帮助不大,因为信息可能包含重复、错误和异常值。在初始阶段对收集的数据进行预处理以识别模式、异常值和缺失的信息,允许用户纠正错误和偏差。根据收集数据的复杂程度,用于数据收集的计算平台通常基于 Arm Cortex 或英特尔 Atom/Core 处理器。一般来说,输入 / 输出 (I/O) 和 CPU 的规格,而不是图形处理单元 (GPU),对于执行数据收集任务更为重要。
2 训练
AI 模型需要在高级神经网络和资源匮乏的 ML 或 DL 算法上进行训练,这些算法需要更强大的处理能力,例如强大的 GPU,以支持并行计算来分析所收集的、经预处理的大量训练数据。训练 AI 模型涉及选择 ML 模型CONTROL ENGINEERING China版权所有,并根据所收集、经预处理的数据对其进行训练。在此过程中,需要评估和调整参数以确保准确性。有很多训练模型和工具可供选择,包括现成的 DL 设计框架,例如 PyTorch、Tensor Flow 和 Caffe。训练通常在指定的 AI 训练机或云计算服务上而不是在现场进行,例如亚马逊的 AWS Deep Learning AMIs、谷歌 Cloud AI 或微软 Azure Machine Learning 等。
3 推理
最后阶段涉及在边缘计算机上部署经过训练的 AI 模型CONTROL ENGINEERING China版权所有,以便它可以根据新收集和预处理的数据快速有效地进行推理和预测。由于推理阶段通常比训练消耗更少的计算资源,因此 CPU 或轻量级加速器就足以满足 AIoT 应用的需求。尽管如此,仍需要一个转换工具,来将训练好的模型转换为可以在专用边缘处理器 / 加速器上运行的模型CONTROL ENGINEERING China版权所有,例如英特尔 Open VINO 或 NVIDIA CUDA。推理还包括几个不同的边缘计算水平和要求。
边缘计算水平和架构
尽管 AI 训练仍在云端或本地服务器上进行,但数据收集和推理仍然需要在网络边缘进行。此外,由于训练有素的 AI 模型应完成的目标(例如根据新收集的现场数据做出决策或执行操作)的大部分工作是在推理中实现的,因此需要根据以下边缘计算的不同水平来选择合适的处理器。
低水平的边缘计算 :在边缘和云之间传输数据既昂贵又耗时,并导致延迟。采用低水平的边缘计算,只需将少量有用数据发送到云端,从而减少延迟时间、带宽、数据传输费用、功耗和硬件成本。可以在 IIoT 设备上使用没有加速器的、基于 Arm 的平台来收集和分析数据,以便快速做出推断或决策。
中等水平的边缘计算 :此级别的推理可以以足够的帧速率,处理用于计算机视觉或视频分析的各种 IP 摄像机流。中等水平的边缘计算,包括基于 AI 模型和性能要求的复杂数据,例如安装在办公室入口的大型公共监控网络的面部识别应用程序。大多数工业边 缘计算应用,还需要考虑有限的功率预算或无风扇设计来散热。在这个级别上,可以使用高性能 CPU、入门级 GPU 或视觉处理单元 (VPU)。例如,英特尔 Core i7 系列 CPU 通过 OpenVINO 工具包和基于软件的 AI/ML 加速器提供了一个高效的计算机视觉解决方案,可以在边缘执行推理任务。
高水平的边缘计算 :该层级的边缘计算,可以为使用更复杂模式识别的 AI 专家系统处理大量数据负载,例如公共安全系统中自动视频监控的行为分析,以检测安全事件或潜在威胁事件。高水平的边缘计算推理通常使用加速器,包括高端 GPU、VPU、谷歌张量处理单元 (TPU) 或现场可编程门阵列 (FPGA),它们消耗更多功率(200W 或更多)并产生过多热量。由于必要的功耗和产生的热量可能会超出网络远端(例如在行驶中的火车上)的限制,因此高水平边缘计算系统通常部署在近边缘站点(例如火车站)以执行任务。
有种工具可用于各种硬件平台,以帮助加快应用程序开发过程或提高 AI 算法和 ML 的整体性能。
“选择最适合的边缘计算机,来执行现场工业 AI 推理任务。”
深度学习框架
考虑使用 DL 框架,它是一种接口、库或工具,可让用户更轻松、更快速地构建深度学习模型CONTROL ENGINEERING China版权所有,而无需深入了解底层算法的细节。深度学习框架提供了一种清晰简洁的方法,使用一组预先构建和优化的组件来定义模型。最受欢迎的 3 个工具包括 :
PyTorch :主要由 Facebook 的人工智能研究实验室开发,PyTorch 是一个基于 Torch 库的开源机器学习库。它用于计算机视觉和自然语言处理等应用CONTROL ENGINEERING China版权所有,是在升级版 BSD 许可下发布的免费开源软件。
TensorFlow :使用 TensorFlow 用户友好的基于 Keras 的 API, 实现快速原型设计、研究和生产,这些 API 用于定义和训练神经网络。
Caffe :提供了一个功能强大的架构,允许用户在没有硬编码的情况下 , 定义和配置模型和优化。设置单个标志以在 GPU 机器上训练模型CONTROL ENGINEERING China版权所有,然后部署到商品集群或移动设备上。
基于硬件的加速器工具包
硬件供应商提供的 AI 加速器工具包,专门用于在其平台上加速 AI 应用,例如 ML 和计算机视觉。
英特尔 Open VINO :英特尔的开放视觉推理和神经网络优化 (Open VINO) 工具包,旨在帮助开发人员在英特尔平台上构建强大的计算机视觉应用。Open VINO 还支持对 DL 模型进行更快的推理。
NVIDIA CUDA :CUDA 工具包可为嵌入式系统、数据中心、云平台和基于 NVIDIA 统 一计算设备架构的超级计算机上的 GPU 加速应用,提供高性能并行计算。
实施应用的位置和环境考虑
最后需要考虑的,但并不意味着它最不重要,是实施应用的物理位置。部署在户外或恶劣环境中的工业应用(如智慧城市、石油和天然气、采矿、电力或户外巡逻机器人应用),应具有较宽的工作温度范围和适当的散热机制,以确保在酷热或严寒天气环境下的可靠性。某些应用还需要行业特定的认证或批准,例如无风扇设计、防爆结构和抗振性。由于很多实际应用部署在空间有限的机柜中并受到尺寸限制,因此首选小型边缘计算机。
远程站点中高度分散的的工业应用,也可能需要通过可靠的蜂窝或 Wi-Fi 连接进行通信。例如,具有集成蜂窝 LTE 连接的工业边缘计算机,消除了对额外蜂窝网关的需求,并节省了宝贵的机柜空间和部署成本。另一 个需要考虑的因素是可能需要支持双 SIM 卡 的冗余无线连接,以确保在一个蜂窝网络信 号弱或下降时仍可以传输数据。
在边缘端启用 AI 功能,使企业能够提高工业应用的运营效率,降低风险和成本。为工业 AIoT 应用选择合适的计算平台,应认真考量数据收集、训练和推理三个实施阶段的具体处理要求,并根据不同的边缘计算水平(低、中或高),选择最合适的处理器类型。通过仔细评估 AIoT 应用在每个阶段的具体要求,选择最适合的边缘计算机来执行现场工业 AI 推理任务。(作者:Ethan Chen)
关键概念:
■ 通过将 AI 引入工业物联网的应用,可支持更智能的工业决策。
■ 选择合适的边缘计算机以支持 AI 和机器学习。
思考一下:
如何使用 AI 支持的边缘计算来进行更智能的实时决策?