在线会议
论坛
专题
工控直播
新闻中心
子站
技术
社区
北京人工智能研究院 (BAAI) 的研究人员本周发布了一款超大规模预训练模型--"悟道2.0 "。据报道，该模型比 OpenAI 和谷歌开发的类似模型更先进。
作为中国首个超大规模预训练模型，"悟道2.0"在模型规模上爆发级增长，达到1.75万亿参数，创下全球最大预训练模型纪录。
这个新模型与OpenAI 在 2020 年宣布的GPT-3模型和谷歌的Switch Transformer模型进行了比较：
· "悟道2.0"是OpenAI GPT-3模型的10倍；
· 打破之前由谷歌的Switch Transformer预训练模型创造的1.6万亿参数记录；
· 是目前中国首个、全球最大的万亿级模型。
此外，"悟道2.0"还取得了多项世界级的创新突破，在预训练模型架构、微调算法、高效预训练框架方面实现了原始理论创新，在世界公认的人工智能能力排名榜单上，取得9项能力的领先地位。
报告称，"悟道2.0"使用1.75万亿个参数来"模拟对话、写诗、理解图片甚至生成食谱"。OpenAI 和谷歌开发的模型应该做类似的事情，但他们使用更少的参数来做到这一点，这意味着"悟道2.0"可能更擅长这些任务。
"悟道2.0"不仅能够像 GPT-3 那样生成各种形态的文本，还可以完成多种图像生成的任务。更重要的是www.cechina.cn，由于训练参数量极大，"悟道2.0"已经体现出对多种任务的适应能力，可以比其它模型更加轻松地"迁移"到新的任务上，而不仅限于文本和图像生成--朝着通用人工智能迈出了一大步。
"悟道2.0"强大的能力，源自于史无前例般巨大的训练参数量。1.75万亿参数这个级别，即使采用最新的专门深度学习计算硬件和分布式计算方法，也非常艰难。而悟道2.0实现壮举的背后有两大功勋：1）独创式的训练算法 FastMoE，2）中国超级计算机的计算力量。
据了解，"悟道"团队研发的FastMoE技术，是打破国外技术瓶颈，实现"万亿模型"基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。而且，其还支持Switch、GShard等复杂均衡策略以及不同模型。
参数的数量并不是唯一重要的事情。还必须训练模型www.cechina.cn，并且该过程中使用的数据量会影响其性能。据悉，"悟道2.0"接受了BAAI"4.9 TB的图像和文本，其中中英文文本各1.2 TB"的训练。
BAAI 还为深度学习研究者送上了悟道2.0训练所用的数据集 WuDaoCorpora2.0。它包含了目前全球最大的中文文本数据集、多模态数据集和中文对话数据集，由1.2TB中文数据、1.2TB英文数据，以及2.5TB的图文数据，共计数据量达到了惊人的4.9TB。
智源研究院学术副院长唐杰教授介绍说CONTROL ENGINEERING China版权所有，"悟道"超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。
"悟道"团队在大规模预训练模型研发上做了很多基础性工作控制工程网版权所有，形成自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。"悟道2.0"实现了"大而聪明"，具备大规模、高精度、高效率的特点。
与"悟道2.0"相关的原始数字令人印象深刻， 据报道，BAAI 已与包括智能手机制造商小米在内的 22 家公司合作，将"悟道2.0"带入他们的堆栈。
智源研究院理事长张宏江表示，目前www.cechina.cn，"大模型+大算力"是迈向通用人工智能的一条可行路径。
大模型对于人工智能发展具有重大意义，未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于"发电厂"，将数据，也就是"燃料"，转换为智能能力，驱动各种AI应用。
如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即"智网"。大模型就是下一个AI的基础平台，是未来AI发展的战略基础设施。
.jpg)
AVEVA InTouch Unlimited试用版下载
福禄克三大“法宝”帮您搞定过程仪表校准难题
2024年度最佳产品奖颁奖典礼会后报道
2024全球自动化和制造主题峰会会后报道
阿自倍尔液体检测产品有奖试用
