许多分析和机器学习用例都采用存储在数据仓库或数据湖中的数据,在完整的数据集或数据子集上运行算法,并在云计算架构上计算结果。当数据不会经常发生变化时,这种方法很有效。但是,如果数据经常发生变化怎么办?
如今,越来越多的企业需要实时处理数据和计算分析。物联网在很大程度上推动了这种模式的转变,因为来自传感器的数据流需要立即处理和分析来控制下游系统。实时分析在许多行业也很重要,其中包括医疗保健、金融服务、制造业和广告业,在这些行业中,数据的微小变化可能会对财务、健康、安全和其他业务产生重大影响。
如果企业对采用实时分析感兴趣,并且这些技术综合了边缘计算、AR/VR、物联网传感器和大规模机器学习,那么了解边缘分析的设计考虑因素非常重要。例如自主无人机、智能城市、零售连锁管理和增强现实游戏网络等边缘计算用例,都以部署大规模、高度可靠的边缘分析为目标。
边缘分析、流分析和边缘计算
机器学习和边缘计算范例几种不同的分析与边缘分析有关:
●边缘分析是指部署到云计算基础设施之外的基础设施和本地化基础设施中边缘分析和机器学习算法。
●流分析是指在处理数据时实时进行计算分析。流分析可以在云端或边缘完成,具体取决于用例。
●事件处理是一种实时处理数据和制定决策的方法。此处理是流分析的子集,开发人员使用事件驱动的架构来识别事件并触发下游操作。
●边缘计算是指将计算部署到边缘设备和网络基础设施。
●雾计算是一种更通用的架构,它将计算划分为边缘、近边缘和云计算环境。
在设计需要边缘分析的解决方案时,架构师必须考虑空间和电源限制、网络成本和可靠性、安全性,以及处理要求等因素。
在边缘部署分析的原因
人们可能会问为什么要将基础设施部署到边缘进行分析?这些决策需要考虑技术、成本和合规性因素。
影响人身安全并需要计算架构中的弹性的应用程序是边缘分析的一个用例。在数据源(如物联网传感器和分析计算基础设施)之间需要低延迟的应用程序是通常需要边缘分析的用例。这些用例的示例包括:
自动驾驶汽车、自动机械或控制系统使全部或部分实现自动化导航的任何运输工具。
智能建筑具有实时安全控制,并希望避免对网络和云计算基础设施的依赖,以允许人们安全进出建筑。
跟踪公共交通的智能城市,为电力计费部署智能电表控制工程网版权所有,以及智能废物管理解决方案。
成本是在制造系统中使用边缘分析的重要因素。考虑使用一组摄像机在快速移动的传送带上扫描制造的产品是否有缺陷。在工厂中部署边缘计算设备来执行图像处理,而不是安装用于将视频图像传输到云端的高速网络,可能会更具成本效益。
专注于计算机视觉解决方案的工业人工智能开发商Landing AI公司工程副总裁Achal Prabhakar说,“制造工厂与主流分析应用程序完全不同,因此需要重新考虑包括部署在内的人工智能。对我们来说,重点工作是部署复杂的深度学习视觉模型,并使用功能强大但商品化的边缘设备直接在生产线上进行持续学习。”
使用边缘分析和计算还可以将分析部署到偏远地区建筑和钻探现场。工程师不再依赖成本高昂且可能不可靠的广域网,而是在现场部署边缘分析基础设施来支持所需的数据和分析处理。例如,一家石油和天然气公司在边缘部署了带有内存分布式计算平台的流分析解决方案CONTROL ENGINEERING China版权所有,并将钻井时间从通常的15天减少到12天,节省了20%的时间。
合规性和数据治理是进行边缘分析的另一个原因。部署本地化的基础设施可以通过在收集数据的国家/地区存储和处理受限数据来帮助满足GDPR合规性和其他数据主权法规。
设计边缘计算分析
不幸的是,获取模型和其他分析并将其部署到边缘计算基础设施并不总是那么简单。通过计算密集型数据模型处理大型数据集的计算需求可能需要重新设计,然后才能在边缘计算基础设施上运行和部署它们。
一方面,许多开发人员和数据科学家现在都利用了公共云和私有云上可用的高级分析平台。物联网和传感器通常利用C/C ++编程语言编写的嵌入式应用程序,这对于云原生数据科学家和工程师来说可能是陌生且充满挑战的领域。
另一个问题可能是模型本身。当数据科学家在云中工作并以相对较低的成本按需扩展计算资源时www.cechina.cn,他们能够开发具有许多功能和参数的复杂机器学习模型,以充分优化结果。但是,当将模型部署到边缘计算基础设施时,过于复杂的算法可能会显著增加基础设施的成本、设备的大小和电力需求。
SambaNova Systems公司产品副总裁Marshall Choy对人工智能模型部署到边缘的挑战进行了探讨。他说:“边缘人工智能应用的模型开发人员越来越关注高度详细的模型,以实现参数简化和计算需求的改进。这些更小、更详细的模型的训练要求仍然令人生畏。”
另一个考虑因素是,部署高度可靠和安全的边缘分析系统需要设计和实现高度容错的架构、系统、网络、软件和模型。
Hazelcast产品营销高级总监Dale Kim对在边缘处理数据时的用例和约束进行了分析。他表示,虽然设备优化、预防性维护、质量保证检查和关键警报都在边缘可用,但也存在一些新的挑战,如有限的硬件空间、有限的物理可访问性、有限的带宽以及更大的安全隐患。
Kim说:“这意味着企业习惯于在数据中心使用的基础设施不一定能正常工作。因此,需要探索采用了边缘计算架构的新技术。”
分析的下一个前沿领域
如今,边缘分析更主流的用例是数据处理功能,包括数据过滤和聚合。但随着越来越多的企业大规模部署物联网传感器CONTROL ENGINEERING China版权所有,实时应用分析、机器学习和人工智能算法的需求将需要更多的部署在边缘。
随着传感器的价格变得更低,应用程序需要更多的实时分析,以及为边缘开发的具有成本效益的优化算法变得更容易,因此边缘的可能性为智能计算的发展创造了令人兴奋的未来。