什么是视觉检测中的深度学习?
深度学习是由人工神经网络驱动的机器学习技术的一个方面。深度学习技术的工作原理是教机器通过实例学习。通过为神经网络提供特定数据类型的标记示例,可以提取这些示例之间的共同模式,然后将它们转换为数学方程。这有助于对未来的信息进行分类。
借助视觉检测技术,集成深度学习算法可以区分零件、异常和字符,在运行计算机化系统的同时模拟人类视觉检测。
那么,这到底意味着什么?让我们举一个例子:
如果您要为汽车制造创建视觉检测软件,您应该开发一种基于深度学习的算法,并使用它必须检测的缺陷示例对其进行训练。有了足够的数据,神经网络最终会在没有任何额外指令的情况下检测出缺陷。
基于深度学习的视觉检测系统擅长检测性质复杂的缺陷。它们可以处理复杂的表面和外观缺陷,并对零件的表面进行概括和概念化。
如何集成AI视觉检测系统?
1. 说明问题
视觉检测的开发通常从商业和技术分析开始。这里的目标是确定该系统应该检测什么样的缺陷。
需要考虑的主要问题包括:
· 视觉检测系统的环境是什么?
· 检查应该是实时的还是延迟的?
· 视觉检测系统应该如何彻底检测缺陷,是否应该按类型区分?
· 是否有任何现有的软件集成了视觉检测功能,还是需要从头开始开发?
· 系统应如何通知用户检测到的缺陷?
· 视觉检测系统是否应该记录缺陷检测的统计数据?
· 还有一个关键问题。是否存在用于深度学习模型开发的数据,包括 "好 "和 "坏 "产品的图像以及不同类型的缺陷?
数据科学工程师根据他们得到的答案控制工程网版权所有,选择最佳的技术方案和流程来进行。
2. 收集和准备数据
数据科学工程师必须在深度学习模型开发开始之前收集和准备训练未来模型所需的数据。对于制造流程,实施物联网数据分析非常重要。在讨论视觉检测模型时控制工程网版权所有,数据通常是视频记录,其中视觉检测模型处理的图像包括视频帧。数据收集有多种选择,但最常见的是:
· 获取客户提供的现有视频记录;
· 获取适用于特定目的的开源视频记录;
· 根据深度学习模型的要求,从头开始收集数据。
这里最重要的参数是视频记录的质量。更高质量的数据将导致更准确的结果。一旦我们收集了数据,我们就会为建模做好准备、清理它、检查异常并确保其相关性。
3. 开发深度学习模型
深度学习模型开发方法的选择取决于任务的复杂性、所需的交付时间和预算限制。有几种方法:
· 使用深度学习模型开发服务(例如:Google Cloud ML Engine、Amazon ML 等)
当缺陷检测功能的要求与给定服务提供的模板一致时,这种方法是有意义的。这些服务可以节省时间和预算,因为无需从头开始开发模型。你需要做的是根据相关任务上传数据并设置模型选项。
难点在于这些类型的模型不可定制。模型的功能仅限于给定服务提供的选项。
· 使用预训练模型
预先训练的模型是一个已经创建的深度学习模型,它可以完成与我们想要执行的任务类似的任务。我们不必从头开始构建模型,因为它使用经过训练的基于我们数据的模型。
预训练模型可能不会 100% 符合我们的所有任务,但它可以节省大量时间和成本。使用之前在大型数据集上训练过的模型,我们可以根据我们的问题定制这些解决方案。
· 从头开发深度学习模型
这种方法非常适用于复杂且安全的视觉检测系统。这种方法可能需要大量时间和精力,但结果是值得的。
在开发自定义视觉检测模型时,数据科学家会使用一种或多种计算机视觉算法。这些包括图像分类、对象检测和实例分割。
许多因素会影响深度学习算法的选择。这些包括:
· 业务目标
· 物体/缺陷的大小
· 照明条件
· 检验产品数量
· 缺陷类型
· 图像分辨率
缺陷类别示例:
假设我们正在开发用于建筑物质量评估的视觉检测模型。主要重点是检测墙壁上的缺陷。需要大量数据集才能获得准确的视觉检查结果,因为缺陷类别可能非常多样化,从油漆剥落和霉菌到墙壁裂缝。这里的最佳方法是从头开始开发基于实例分割的模型。在某些情况下,预先训练的模型方法也是可行的。
另一个例子是药品生产的视觉检测,制造商希望将气泡与产品中的颗粒区分开来,例如高粘性的母液。气泡的存在是这里唯一的缺陷类别,因此所需的数据集不会像上面的示例那样广泛。最佳的深度学习模型开发方法可能是使用模型开发服务而不是从头开始开发。
4. 培训和评估
开发视觉检测模型后的下一步是对其进行训练。在这个阶段,数据科学家验证和评估模型的性能和结果准确性。测试数据集在这里很有用。视觉检测系统可能是一组视频记录,这些记录要么是过时的,要么是类似于我们要在部署后处理的视频记录。
5. 部署和改进
在部署视觉检测模型时,重要的是要考虑软件和硬件系统架构如何与模型容量对应。
软件方面
视觉检测驱动软件的结构基于用于数据传输的 Web 解决方案和用于神经网络处理的 Python 框架的组合。
这里的关键参数是数据存储。有三种常见的数据存储方式:在本地服务器上、云流服务或无服务器架构。
视觉检测系统涉及视频记录的存储。数据存储解决方案的选择通常取决于深度学习模型功能。例如,如果视觉检测系统使用大型数据集,则最佳选择可能是云流服务。
硬件方面
根据行业和自动化流程控制工程网版权所有,集成视觉检测系统所需的设备可能包括:
· 摄像头:关键的摄像头选项是实时视频流。一些示例包括 IP 和 CCTV。
· 网关:专用硬件设备和软件程序都适用于视觉检测系统。
· CPU / GPU:如果需要实时结果控制工程网版权所有,GPU 将是比 CPU 更好的选择,因为前者在基于图像的深度学习模型方面拥有更快的处理速度。可以优化 CPU 来运行视觉检查模型,但不能用于训练。最佳 GPU 的一个例子可能是 Jetson Nano。
· 光度计(可选):根据视觉检测系统环境的照明条件,可能需要光度计。
· 色度计(可选):在检测光源的颜色和亮度时,成像色度计始终具有高空间分辨率CONTROL ENGINEERING China版权所有,可进行详细的目视检查。
· 热像仪(可选):在自动检查蒸汽/水管道和设施的情况下,最好拥有热像仪数据。热像仪数据为热/蒸汽/水泄漏检测提供了有价值的信息。热像仪数据也可用于隔热检查。
· 无人机(可选):如今很难想象在没有无人机的情况下对难以到达的区域进行自动检查:建筑物内部结构、天然气管道、油轮目视检查、火箭/航天飞机检查。无人机可能配备高分辨率相机,可以进行实时缺陷检测。
深度学习模型在部署后可以持续改进。深度学习方法可以通过新数据的迭代收集和模型重新训练来提高神经网络的准确性。结果是一个"更智能"的视觉检测模型,它通过在操作期间增加数据来不断学习。
AI视觉检测的行业应用
航空
据波音公司称,价值 2.6 万亿美元的航空航天服务市场中有 70% 致力于质量和维护。2018 年,空中客车公司推出了一种新的基于无人机的自动化飞机检查系统 ,可加速和促进目视检查。这一发展减少了飞机停机时间,同时提高了检查报告的质量。
汽车
丰田最近同意支付13亿美元的赔偿金,原因是一个缺陷导致汽车在司机试图减速时加速,导致美国6人死亡。通过使用康耐视 ViDi等视觉检测系统的认知能力,汽车制造商可以更加准确地分析和识别质量问题,并在问题发生之前予以解决。
计算机设备制造
对更小的电路板设计的需求正在增长。富士通实验室一直在为电子行业开发支持人工智能的识别系统。他们报告在质量、成本和交付方面取得了重大进展。
纺织
自动化视觉检查和深度学习方法的实施现在可以检测纹理、编织、拼接和颜色匹配问题。例如,Datacolor 的 AI 系统可以考虑过去视觉检查的历史数据,以创建与样本更匹配的自定义容差。
太阳能
众所周知,太阳能电池板会受到灰尘和微裂纹的影响。在制造过程中以及安装前后自动检查太阳能电池板是一个好主意,可以防止装运出现故障的太阳能电池板并快速检测太阳能发电场上损坏的电池板。例如,大疆公司使用无人机进行太阳能电池板检查。
天然气和石油
众所周知,天然气和石油管道的长度很大。天然气和石油泄漏可能导致化学污染、爆炸和火灾,对自然和生态造成巨大危害。在计算机视觉技术的帮助下,卫星和无人机检查是早期检测和定位天然气/石油泄漏的良好工具。最近,DroneDeploy报告说,他们成功绘制了约180英里的管道图。