智源研究院发布大规模并行训练效率提升器
来源: 《中国科学报》 2021-04-30 03:00:15
近日，北京智源人工智能研究院（简称智源研究院）发布大规模并行训练效率提升器TDS。作为超大规模智能模型系统“悟道”的阶段进展，TDS（Tsinghua/Temporary DeepSpeed）插件将进一步优化现今最流行的DeepSpeed 并行计算框架，从而“多快好省”地训练一个大模型。
据介绍，数据、算法、算力是当前人工智能技术崛起的重要驱动力。利用海量数据训练大规模机器学习模型，有助于人类充分学习数据中蕴含的知识，达到更好的训练效果。
然而，随着训练规模的扩大，单张GPU卡的显存与计算效率已经无法满足训练的需要，通过分布式训练框架实现多GPU并行训练成为了一种新的刚需。为了提升多GPU并行训练的效率，研发更高效的并行计算框架十分必要。
为应对大规模计算集群高效训练方法的需求，智源研究院发挥其在硬件设计、模型架构、编程框架研发等方面的优势，组织智源“悟道”团队科研人员研发了 TDS 插件，对当下主流的并行计算框架进行了优化。
据介绍，TDS 插件重新实现了DeepSpeed的流水线，通过适配器模式封装了DeepSpeed 的其它功能，该插件十分易于使用。如果已经完成了对 DeepSpeed 的安装，只需要将TDS的代码拷贝到工程中，然后加载 DeepSpeed 库即可。（郑金武）
[ 责编：张梦凡]
猜你喜欢
ipod touch有什么功能？touch苹果皮是什么？
2022-06-17 16:00:32
双wifi是什么意思啊？ 双频wifi好处有哪些？
2022-06-17 15:59:08
首套国产化深水水下采油树正式投入使用
2022-06-17 15:57:39
研究人员发现：细菌“亲密行为”或解释抗生素耐药性成因
2022-06-17 15:56:47
未来手机可像乐高积木般搭建 相关研究发表在《自然·电子学》上
2022-06-17 15:55:47
待机动画是什么意思？ 电脑待机动画怎么弄？
2022-06-16 16:40:55
压缩文件kz怎么转换 kz文件怎么打开如何解压kz文件？
2022-06-16 16:39:05
研究人员发现常见大麦虫能吃掉塑料垃圾
2022-06-16 16:36:14
将人类基因与其功能一一对应 项目数据在线发表于《细胞》杂志上
2022-06-16 16:35:45
“智能皮肤”可探测微生物 有助促进灵敏机器人和智能假肢的研发
2022-06-16 16:35:14
xv转rmvb格式转换器xv如何转换成rmvb？视频怎么转rmvb格式?
2022-06-15 16:42:04
巨大的“鳄鱼脸”恐龙被发现 “欧洲最大的陆地捕食者”
2022-06-15 16:39:13
研究发现：犬类与人为友的遗传线索
2022-06-15 16:36:32
超灵敏磁强计可将信号功率放大64% 并显示出创纪录的33%的超高对比度
2022-06-15 16:33:17
视网膜上这类细胞在近视形成中起重要作用 相关论文发表在《科学·进展》上
2022-06-15 16:32:50
黑鲨618狂欢盛典福利多，购黑鲨最新旗舰至高立减800元
2022-06-15 15:01:28
油价破十，双擎当时 百公里4.8L的混动皓极即将预售
2022-06-15 14:26:16
今日讯！载人航天工程30年 听航天设计师们怎么说
2022-06-13 09:44:58
每日聚焦：中国天眼“看到”持续活跃快速射电暴
2022-06-13 09:57:03
焦点快报!视网膜上这类细胞在近视形成中起重要作用
2022-06-13 09:46:52
讯息：揭秘“时间魔盒”原子钟：三千万年误差小于一秒
2022-06-13 09:43:48
今日报丨亩产801.72公斤：中国超强筋小麦单产新纪录诞生
2022-06-13 09:39:01
要闻：商用迎来三周年之际：5G全连接工厂有啥不一样
2022-06-13 09:43:15
视点！三家网店三个运营商 FOREVER21的低价策略还能奏效？
2022-06-13 08:37:45
时讯：叮咚买菜再退一城 前置仓还没过春天就入冬了？
2022-06-13 08:49:11