Meta Llama 3.1模型现已在亚马逊云科技正式可用

亚马逊云科技宣布，Meta刚刚发布的新一代Llama模型现已在Amazon Bedrock和Amazon SageMaker中提供。客户也可以在基于Amazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute（Amazon EC2）实例中部署这些模型。Llama 3.1模型是一系列预训练和指令微调的大语言模型（LLMs），支持8B、70B和405B三种尺寸，适用于广泛的使用场景。开发人员、研究人员和企业可以用此模型进行文本摘要和分类、情感分析、语言翻译和代码生成。

Meta表示，Llama 3.1 405B是目前最优秀和最大的开源基础模型（foundation models,FMs）之一，为生成式AI能力设立了新标准。它特别适用于合成数据生成和模型蒸馏，这能在后续训练中提升较小尺寸Llama模型的性能。Llama 3.1 405B还在通用知识、数学、工具使用和多语言翻译方面有出色的表现。

得益于大幅增加的训练数据和规模，所有新的Llama 3.1模型相比之前的版本都有明显改进。这些模型支持128K的上下文长度，相较于Llama3增加了12万个标记（Token），模型容量是上一版本的16倍，并提升了在以下八种语言对话场景中的推理能力，即英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

Llama 3.1模型还增强对语言细微差别的理解能力，即能更好地理解上下文，并能更有效地处理复杂问题。该模型还可以从长篇文本中获取更多信息，以做出更明智的决策，并利用更丰富的上下文数据生成更加细致和凝练的回应。

亚马逊云科技首席执行官Matt Garman表示：“我们与Meta保持着长期合作关系，今天很高兴能将他们最先进的模型提供给我们的客户。客户普遍希望根据他们的具体用例自定义和优化Llama模型，通过在亚马逊云科技上访问Llama 3.1，客户可以利用最新的领先模型来负责任地构建AI应用。”

过去十年间，Meta一直致力于为开发人员提供工具，并促进开发人员、研究人员和企业之间的合作共赢。Llama模型提供各种参数尺寸，允许开发人员选择最适合其需求和推理预算的模型。亚马逊云科技上的Llama模型打开了充满无限可能的新世界，开发人员无需再担心扩展性或基础设施管理等问题。亚马逊云科技提供了一种简单的开箱即用的方式来使用Llama。

Meta创始人兼首席执行官马克·扎克伯格表示：“开源是让AI造福所有人的关键。我们一直在与亚马逊云科技合作，将整个Llama3.1模型集成到Amazon SageMaker JumpStart和Amazon Bedrock中，这样开发人员就可以全面使用亚马逊云科技的各种能力来构建出色的应用，例如用于处理复杂任务的高级智能体。”

Llama 3.1模型的优势

Llama 3.1 405B

●适用于构建企业应用程序和研发

●用例包括：长篇文本生成、多语言和机器翻译、编码工具使用、增强的上下文理解，以及高级推理和决策

Llama 3.1 70B

●适用于内容创建、对话AI、语言理解和研发

●用例包括：文本摘要、文本分类、情感分析和细微推理、语言建模、代码生成和遵循指令

Llama 3.1 8B

●适用于计算能力和资源有限的情况以及移动设备

●更快的训练时间

●用例包括：文本摘要和分类、情感分析和语言翻译

亚马逊云科技提供对多种大语言模型的轻松访问

Amazon Bedrock为数万名客户提供安全、便捷的模型访问，提供性能卓越、完全托管的大型语言模型和其他基础模型选择，并具有领先的易用性，是客户开始使用Llama 3.1的便捷途径，其中8B和70B参数模型已经正式可用，405B版本现提供预览。

客户希望访问Llama 3.1模型并利用亚马逊云科技的所有安全性和功能，这些通过Amazon Bedrock提供的一个简单的API即可轻松实现，同时无需管理任何底层基础设施。客户还可以使用Llama 3.1提供的负责任AI能力，该功能能够与Amazon Bedrock的数据治理和评估功能配合使用，例如Guardrails和模型评估。客户还可以使用Amazon Bedrock即将推出的微调功能来自定义模型。

Amazon SageMaker是数据科学家和机器学习工程师预训练、评估和微调基础模型的绝佳平台，能够提供先进的技术和精细的控制能力来部署基础模型，以满足生成式AI用例在准确性、延迟和成本方面的严格要求。今天，通过Amazon SageMaker JumpStart，客户仅需几次点击即可发现和部署所有Llama 3.1模型。随着即将推出的微调功能，数据科学家和机器学习工程师将能够更进一步使用Llama 3.1，例如在短短几小时内将Llama 3.1适配于他们的特定数据集。

亚马逊云科技首席执行官Matt Garman表示：“Amazon Bedrock是使用Llama 3.1进行快速构建的简单途径，提供行业领先的隐私和数据治理评估功能和内置保护措施。Amazon SageMaker提供的工具选择和精细控制，则使各行各业的客户能够轻松训练和调整Llama模型，以推动亚马逊云科技上的生成式AI创新。”

对于希望通过自管理机器学习工作流的方式在亚马逊云科技上部署Llama 3.1模型的客户，Amazon EC2提供广泛的加速计算选项，以为其提供更大的灵活性和对底层资源的控制。Amazon Trainium 和Amazon Inferentia2能够为微调和部署Llama3.1模型提供高性能和成本效益。客户可以通过使用Amazon EC2 Trn1和Inf2实例在亚马逊云科技自研AI芯片上开启使用Llama3.1的旅程。

客户已经在亚马逊云科技上使用Llama模型

全球金融服务集团野村控股（Nomura）的业务覆盖30个国家和地区。该集团正在使用Amazon Bedrock中的Llama模型简化海量行业文档的分析，以提取相关的商业信息，使员工可以将更多时间专注于从日志文件、市场评论或原始文档等数据源中提取洞见和获取关键信息。

领先的外包数字服务和客户体验提供商TaskUs使用Amazon Bedrock中的Llama模型来支持其专属生成式AI平台——TaskGPT。TaskUs在该平台上构建智能工具，自动化部分客户服务流程，释放团队成员处理更复杂的问题，并提供更好的客户体验。