谷歌研究发布机器学习5大趋势
又是一年一度的谷歌年度盘点,Google Research 高级研究员兼高级副总裁 Jeff Dean再次执笔,为我们回顾过去一年来谷歌在5大方向的研究进展以及未来趋势。
Jeff Dean表示,"在过去几十年里,我们见证了机器学习和计算机科学领域的许多重大变化。早期方法的失效促进了现代方法的诞生,并被证明非常有效。"按照这种发展模式,他认为,我们将在未来几年内见证一些"令人兴奋的进展",这些进展最终将造福数十亿人的生活,产生比以往任何时候都更大的影响。
趋势1:功能更强大、更通用的机器学习模型
研究者正在训练比以往任何时候都更大型、功能更强大的机器学习模型。例如,仅在最近几年,语言领域的模型规模已经从在数百亿个数据标记上训练的数十亿个参数,发展到在数万亿个数据标记上训练的数百亿参数。
数据集和模型规模的增强CONTROL ENGINEERING China版权所有,使得各种语言任务的准确性显著提高,正如标注自然语言处理(NLP)基准任务的全面提升所表明的那样(例如对语言模型和机器翻译模型的神经标度定律的研究所预测的)。
用于图像识别和视频分类的Transformer在许多基准上都取得了最先进的成果,谷歌还证明,与单独使用视频数据相比,在图像数据和视频数据上的联合训练模型可以提高视频任务的性能。生成模型的输出质量也在大幅提高,这在图像的生成模型中表现得最为明显。
趋势2:机器学习效率持续提高
由于计算机硬件设计以及机器学习算法和元学习研究的进步控制工程网版权所有,机器学习的效率得到持续提升,推动着机器学习模型的功能变得更加强大。
ML 流水线涉及许多方面,从训练和执行模型的硬件,到 ML 架构的各个组件,都可以进行效率优化,同时保持或提高整体性能。
与前几年相比,这些线程中的每一个都可以以显著的乘法因子提高效率,并且综合起来可以将计算成本(包括二氧化碳当量排放量)降低几个数量级。
更高的效率促成了许多关键的进步,这些进步将继续显著提高机器学习的效率,使更大、更高质量的机器学习模型能够以高效的方式开发,并进一步使访问公平化。
趋势3:机器学习将更有益于个人和社区的发展
ML 的技术创新使移动设备能够更有能力持续有效地感知其周围的环境和环境。这些进步提高了可访问性和易用性,同时也提高了计算能力,这对于移动摄影、实时翻译等流行功能至关重要。值得注意的是,最近的技术进步还为用户提供了更加个性化的体验,同时加强了隐私保护。
这些技术对于发展下一代计算和交互范式至关重要,个人或公共设备可以在不损害隐私的情况下学习并有助于训练世界的集体模型。通过一种联合的无监督方法来学习上述通用模型,并对给定的任务或上下文进行微调,可以解锁越来越智能的系统,这些系统的交互更加直观——更像是一个社会实体而不是机器。
趋势4:机器学习对科学、健康和可持续发展的影响越来越大
过去十年,计算机视觉的进步使计算机能够用于不同科学领域的各种任务。比如,在神经科学中,自动重建技术可以从脑组织薄片的高分辨率电子显微镜图像中恢复脑组织的神经结缔结构。此外,计算机视觉技术还提供了强大的工具来应对更大甚至全球范围内的挑战。
另一种在多个领域取得成果的方法是,允许 ML 算法以自动化方式探索和评估问题的设计空间以寻找可能的解决方案。
这些自动化的设计空间探索方法可以帮助加速许多科学领域,特别是当生成实验和评估结果的整个实验循环都可以以自动化或大部分自动化的方式完成时。Jeff Dean 表示,希望看到这种方法在未来几年在更多领域中发挥良好的效果。
趋势5:对机器学习更深入的理解
随着机器学习被更广泛地接受和应用,继续开发新技术可以推进机器学习更好地造福于社会。
基于在线产品中的用户活动的推荐系统就是其中一个。通常推荐系统是由多个不同组件构成的,想要理解它们的公平属性,需要了解各个组件以及它们组合时的运行方式。
谷歌最新的研究提高了单个组件和整体推荐系统的公平性,帮助用户更好地理解这些"关联性"。而且,在从匿名用户活动中学习时,推荐系统以"中立"的方式学习是十分必要的。从先前用户的数据中直接学习到的"经验",可能带有显而易见的"偏见"。如果不纠正,那新用户可能会频繁收到不符合心意的产品推荐。
更好地理解数据是机器学习研究的一个核心环节。谷歌开发了一类方法能够深入了解特定训练示例对机器学习模型的影响,因为错误标记的数据或其他类似问题对整体模型都有巨大负面影响。谷歌还构建了Know Your Data 工具,用以帮助研究人员和从业者掌握数据集属性,例如:如何使用 Know Your Data 工具来探索性别、年龄偏见等问题。
腾讯发布国内首份可解释 AI 报告
随着各界对 AI 伦理的日益重视,AI 系统的可解释性也逐渐成为热点,甚至上升到立法和监管的要求。许多人工智能领域的专家都把 2021 年视为"AI 可解释元年",在这一年,不仅政府出台相应的监管要求,国内外许多科技公司,譬如谷歌、微软、IBM、美团、微博、腾讯等,也都推出了相应的举措。
报告链接:
https://docs.qq.com/pdf/DSmVSRHhBeFd0b3Zu
或点击文末「阅读原文」
在这一背景下,腾讯研究院、腾讯天衍实验室、腾讯优图实验室、腾讯 AI Lab 等组成的跨学科研究团队,历时近一年,完成业内首份 《可解释AI发展报告 2022--打开算法黑箱的理念与实践》 ,全面梳理可解释AI的概念、监管政策、发展趋势、行业实践,并提出未来发展建议。
目前人工智能已经成为了通用型技术,以深度学习为代表的机器学习加速渗透到各行各业,产生了非常丰富的应用。作为引领 AI 技术加速变革的重要法宝,机器学习是一把双刃剑。
一方面,以深度学习为主要技术模型的机器学习可以帮助 AI 摆脱对人为干预和设计的依赖,形成 AI 的自主学习、自我创造以及自动迭代机制,使得 AI 在学习思维上无限接近于人类大脑。
另一方面,机器学习又日益暴露出 AI 在自动化决策 (Automated decision-making) 中无可回避的难解释性和黑箱性。基于人工神经网络结构的复杂层级控制工程网版权所有,在AI深度学习模型的输入数据和输出结果之间,存在着人们无法洞悉的"黑盒",即使是专家用户也无法完全理解这些"黑盒"。
因此,可解释AI便应运而生www.cechina.cn,可解释AI可以分为全局可解释 (使公众理解算法模型本身) 和局部可解释 (使公众理解算法模型的输出结果) 。如果不解决这两个问题,不仅影响到用户对 AI 应用的信任,而且也可能会带来算法歧视、算法安全和算法责任等方面的相关问题。
在此背景下,可解释 AI 也成为了各大主流科技公司研究的新兴领域,学术界与产业界等纷纷探索理解 AI 系统行为的方法和工具。目前各主流科技公司对可解释 AI 的探索实践主要有两大路径,路径一是建立"模型说明书"标准,促进算法模型本身的透明度和可理解,第二种路径则是打造可解释性工具,推动构建可解释的 AI 模型 (XAI) 。
近年来头部的人工智能公司,包括微软、谷歌等,更是推出了更加强大与丰富的可解释性工具,囊括了诸多可诠释 (Interpretable) 方法与可解释 (Explainable) 方法,为实际面临的可解释性问题的解决提供了巨大的帮助。
透明性与可解释性,连同公平性评价、安全考虑、人类 AI 协作、责任框架,都是 AI 领域的基本问题。我们需要找到一个平衡的可解释 AI 的路径,来打造可信、负责任 AI,确保科技向善。具体来说,在设计可解释性要求时,需要考虑可解释性要求和其他重要的伦理价值和目的 (诸如公平、安全、隐私、网络安全等) 之间的平衡。因为可解释性本身不是目的,而是实现其他目的的手段。所以在设计可解释性要求时,首先需要考虑想要实现什么目标,其次需要思考在特定情境下如何更好地匹配这些目标。
IDC:2021上半年中国AI市场规模超20亿美元
据IDC中国12月22日公布的数据,2021年上半年中国的人工智能整体市场规模达21.8亿美元,同比增42.2%。在整体市场规模增长的情况下,人工智能的各个细分市场的增长情况以及市场格局也在发生着变化。
据IDC中国相关报告,当前人工智能市场主要分为三个部分:计算机视觉市场、语音语义市场、机器学习平台市场。
2021年上半年,计算机视觉市场的市场规模为9.9亿美元www.cechina.cn,同比增33.0%,低于整体市场规模增长;语音语义市场的市场规模为9.4亿美元,同比增45.0%,略高于整体市场规模增长;机器学习平台市场的市场规模为2.6亿美元,同比增101.8%,虽增长显著但整体规模不高。
2021年上半年,机器学习平台市场的市场规模为2.6亿美元,同比增101.8%。虽然机器学习平台市场的市场规模相对较小,但增长速度却非常高。
IDC中国报告显示,2021年上半年,机器学习平台市场份额翻倍的主要驱动因素主要有两个:一是传统政企客户构建AI中台带来的需求增长;二是厂商对于AutoML等降低机器学习门槛技术的不断投入。
此外,自动化机器学习将是解决当前行业用户人才以及技能不足的有效路径。因此,人口红利逐渐消失部分岗位开始去人工化、政企单位加速数字化转型等都为机器学习平台的增长提供了不小的助力。