中关村在线

服务器

英特尔推动Transformer业务在训练和推理优化及扩展取得关键进展

在过去的一年中,英特尔、Habana Labs和Hugging Face基于开源项目、集成开发者体验与科学研究,不断提升人工智能应用的效率并降低使用门槛,在创建和训练高质量Transformer模型上取得了重大进展。

Transformer模型为包括自然语言处理(NLP)、计算机视觉(CV)、语音等在内广泛的机器学习和深度学习任务提供先进的性能。大规模训练这些深度学习模型需要庞大的算力,这个过程非常复杂,不仅需要大量时间,而且成本高昂。

通过英特尔颠覆者计划(IntelDisruptor Program)与Hugging Face密切合作,能够帮助用户更广泛地采用基于最新英特尔至强可扩展处理器、HabanaGaudi以及Gaudi 2处理器优化的训练和推理解决方案。此次合作将英特尔AI工具包中先进的深度学习创新技术引入Hugging Face的开源生态系统中,并以此推动未来英特尔?架构的创新发展,在英特尔至强平台上的分布式调优、内置优化、配合Habana Gaudi加速训练,以及小样本学习方面均取得了重大进展。

当使用单节点CPU进行训练速度不佳时,数据科学家们就需要分布式训练。在分布式训练中,集群中的每台服务器都保留一个模型副本,利用训练数据集的一部分进行训练,并通过英特尔oneAPI集体通信库(Collective Communications Library)在各节点之间交换结果,从而更快地收敛到最终模型。目前,Transformer可原生支持该功能,并使数据科学家们更容易地进行分布式调优。

例如,在英特尔至强可扩展处理器的分布式集群上加速Transformer模型的PyTorch训练时,为在PyTorch中能够有效利用英特尔高级矩阵扩展(英特尔 AMX)、AVX-512以及英特尔矢量神经网络指令(VNNI)等最新英特尔至强可扩展处理器所支持的硬件性能,英特尔为PyTorch设计了英特尔扩展,该软件库可为训练和推理提供开箱即用的加速功能。

此外,HuggingFace Transformer提供Trainer API,使用户可以无需手动编写训练循环,更轻松地开始训练。该Trainer为超参数搜索提供API,目前可支持多个搜索后端,其中包括可托管的超参数优化服务英特尔SigOpt。得益于此,数据科学家们可以更有效地训练并获取最佳模型。

非凡的开发者体验

Optimum是Hugging Face创建的一个开源库,用于在日益增长的训练及推理设备中简化Transformer的加速。通过其内置的优化技术和现成的脚本,初学者可以轻松地上手使用Optimum,而专家则可以通过不断调整以获得最佳性能。

“OptimumIntel”是Transformer库与英特尔所提供的不同工具和库之间的接口,用于加速英特尔架构上的端到端管线。该接口基于英特尔神经压缩器所开发,为包括量化、剪枝、知识提取等多项网络压缩技术提供跨多个深度学习框架的统一体验。此外,开发人员亦可使用OptimumIntel来进行针对评估数据集的模型指标对比,从而更加轻松地在Transformer模型上运行训练后量化(PTQ)。

与此同时,OptimumIntel还提供了一个简单的接口来优化Transformer模型,并将模型转换为OpenVINO的中间层表示(IR),从而使用OpenVINO进行推理。

利用Habana Gaudi加速训练

现阶段,Habana Labs正携手HuggingFace更简易、快速地训练大规模、高质量的Transformer模型。得益于Habana的Synapse AI软件套件与Hugging Face Optimum-Habana开源库,数据科学家和机器学习工程师能够通过在Habana Gaudi和Habana Gaudi 2处理器上运行几行代码,加速Transformer深度学习的训练。

Optimum-Habana库支持各种计算机视觉、自然语言和多模态模型。其支持且经过测试的模型架构包括BERT、AlBERT、DistilBERT、RoBERTa、Vision Transformer、swin、T5、GPT2、wav2vec2和Stable Diffusion。Hugging Facehub上目前已有4万多个基于这些架构的模型,而开发人员可以使用Optimum-Habana在Gaudi和Gaudi2上轻松地使用这些模型。

Habana Gaudi解决方案已经用于亚马逊EC2DL1实例,采用该解决方案进行训练的一个主要优势是性价比。Habana Gaudi的性价比与同类训练解决方案相比高40%,使客户能用更少的成本进行更多训练,Gaudi 2采用与第一代Gaudi相同的高效架构,同样提供了卓越的性价比。

Habana DeepSpeed也集成在Optimum-Habana库中,让人们在使用DeepSpeed优化的Gaudi设备时,能更易于大规模部署和训练大型语言模型。

最新版的Optimum-Habana在Hugging Facediffusers库中内置支持Stable Diffusion,使HuggingFace开发者能够在Habana Gaudi上进行极具性价比的图像生成测试。

生产中的小样本学习

英特尔研究院、Hugging Face和UKP Lab最近推出了SetFit,这是一种用于对Sentence Transformer进行小样本调优的有效框架。使用预先训练的语言模型进行小样本学习,将有望解决数据科学家在现实中面临的一大挑战:处理那些几乎没有标签的数据。

当前的小样本调优需要手工提示或描述器,将示例转换为适合底层语言模型的格式。通过直接从少量有标签的文本示例中直接生成丰富的嵌入,SetFit可省去提示。

研究人员设计了SetFit,可用于Hugging Face Hub上的任何Sentence Transformer,即通过调优多语言检查点,可以将文本分类为多种语言。

SetFit不需要像T5或GPT-3这样的大模型来实现高精度。与标准调优相比,它显著提高了采样效率并能够更好地耐受噪声。例如,对于在一个示例情感数据集上每类只有八个有标签的例子,SetFit可以与在包含3000个例子的完整训练集上的RoBERTaLarge调优相媲美。Hugging Face发现,在零提示且体积缩小27倍的情况下,SetFit也取得了与T-Few3B相当的效果,从而实现了兼具低成本和高效的训练。

一直以来,英特尔致力于积极构建生态系统并助力降低AI成本,包括开源项目、集成的开发者体验和科学研究等举措。而工具和软件恰恰能够让开发人员加快构建应用程序,并释放处理器性能。英特尔旨在让人们能够更轻松地在任何地方构建和部署AI,使数据科学家和机器学习从业者能够采用最新的优化技术。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具