Meta推出的Llama 32模型在Amazon Bedrock中的应用：新一代多模态视觉和轻量级模型

关键要点

Llama 32模型在Amazon Bedrock中推出，具备多模态视觉和轻量级特性。新模型提升了语言处理能力，并支持图像推理。适用于多种应用场景，包括内容创建和企业解决方案。模型支持128K上下文长度以及增强的多语言能力。

在七月，我们宣布了Llama 31模型在Amazon Bedrock中的可用性。如今，我们很高兴地介绍从Meta推出的新Llama 32模型在Amazon Bedrock中的应用。

Llama 32模型代表了Meta在大型语言模型LLMs领域的最新进展，提供了更强大的能力，适用于广泛的应用场景。基于对负责任的创新和系统安全的关注，这些新模型在各种行业基准测试中展示出业界领先的性能，并引入了一些新特性，帮助开发者构建新一代的AI体验。

这些模型旨在激励开发者进行图像推理，更加适合于边缘应用，解锁更多AI可能性。

Llama 32模型系列提供了多种尺寸，从适合边缘设备的轻量级文本专用1B和3B参数模型到能够完成复杂推理任务的小型和中型11B及90B参数模型，包括高分辨率图像的多模态支持。Llama 32的11B和90B是首批支持视觉任务的Llama模型，其新架构将图像编码器表征整合至语言模型中。新模型的设计更加高效，缩短了延迟并改善了性能，适合多种应用场景。

所有Llama 32模型都支持128K上下文长度，保持了Llama 31中引入的扩展标记容量。此外，这些模型还提供对八种语言的改进多语言支持，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

除了现有的文本能力Llama 31 8B、70B和405B模型，Llama 32还支持多模态用例。您现在可以在Amazon Bedrock中使用四个新的Llama 32模型90B、11B、3B和1B来构建、实验和扩展您的创意：

模型输入类型优势用例Llama 32 90B Vision文本 图像输入企业级应用的最先进模型，善于一般知识、内容生成和多语言翻译图像标注、图像文本检索、视觉问题回答等Llama 32 11B Vision文本 图像输入适合内容创作与对话AI图像标注、图像文本检索、视觉问题回答等Llama 32 3B文本输入适合低延迟推理和有限计算资源移动AI写作助手和客户服务应用Llama 32 1B文本输入最轻便的模型，适合边缘设备和移动应用的检索与摘要个人信息管理和多语言知识检索

此外，Llama 32建立在Llama Stack之上，这是一个用于构建经典工具链组件和代理应用程序的标准化接口，使构建和部署更加容易。Llama Stack API适配器和分发版本旨在最有效地利用Llama模型的能力，并使客户能够在不同供应商之间对比Llama模型的性能。

Meta对Llama 32进行了一系列测试，涵盖了150多个基准数据集，并进行了广泛的人类评估，表明其在与其他领先基础模型的竞争中表现良好。接下来，让我们看看如何在实际中使用这些模型。

在Amazon Bedrock中使用Llama 32模型

要开始使用Llama 32模型，我导航至Amazo Bedrock控制台，在导航窗格中选择模型访问。在这里，我请求访问新的Llama 32模型：Llama 32 1B、3B、11B Vision和90B Vision。

为了测试新增加的视觉能力，我在另一个浏览器标签中下载了Our World in Data网站上关于可再生能源发电比例的图表PNG格式。该图表具有很高的分辨率，我将其调整为1024像素宽。

返回Amazon Bedrock控制台后，我在导航窗格中选择游乐场下的聊天，选择Meta作为类别，并选择Llama 32 90B Vision模型。

我点击选择文件来选择调整大小后的图像，并使用以下提示：

基于该图表，哪个国家在欧洲有最高的比例？

我点击运行，模型分析图像并返回结果：

我也可以通过AWS命令行接口AWS CLI和AWS SDKs以编程方式访问这些模型。与使用Llama 31模型相比，我只需根据文档更新模型ID。我还可以使用新的跨区域推理端点进行美国和欧盟地区的调用。这些端点在美国和欧盟内的任何区域均有效。例如，Llama 32 90B Vision模型的跨区域推理端点如下：

usmetallama3290binstructv10eumetallama3290binstructv10

以下是使用Amazon Bedrock对话API的AWS CLI命令示例。我使用CLI的query参数过滤输出，只显示消息内容：

bashaws bedrockruntime converse messages [{ role user content [ { text 告诉我意大利最大的三个城市。 } ] }] modelid usmetallama3290binstructv10 query outputmessagecontent[]text output text

在输出中，我得到来自“助手”的回复：

意大利最大的三个城市是：1 罗马Roma 人口约280万2 米兰Milano 人口约140万3 那不勒斯Napoli 人口约97万

如果使用AWS SDK也差不多，以Python为例，使用AWS Python SDKBoto3分析与控制台示例相同的图像：

pythonimport boto3

MODELID = usmetallama3290binstructv10

MODELID = eumetallama3290binstructv10

IMAGENAME = shareelectricityrenewablesmallpng

bedrockruntime = boto3client(bedrockruntime)

with open(IMAGENAME rb) as f image = fread()

usermessage = 基于该图表，哪个国家在欧洲有最高的比例？

messages = [ { role user content [ {image {format png source {bytes image}}} {text usermessage} ] }]

response = bedrockruntimeconverse( modelId=MODELID messages=messages)responsetext = response[output][message][content][0][text]print(responsetext)

Llama 32模型也可以在Amazon SageMaker JumpStart中使用，这是一个机器学习ML中心，便于通过控制台或通过SageMaker Python SDK以编程方式部署预训练模型。从SageMaker JumpStart中，您可以访问和部署新的安全模型，这些模型能够帮助判断模型输入提示和输出响应的安全级别，包括Llama Guard 3 11B Vision，旨在支持负责任的创新和系统安全。

此外，您还可以轻松地对Llama 32 1B和3B模型进行微调。微调后的模型可以作为自定义模型导入到Amazon Bedrock中。Llama 32模型在Amazon Bedrock和Amazon SageMaker JumpStart中的完整微调将很快推出。

Llama 32模型的公开权重使得为特定需求提供定制化解决方案更加简单。例如，您可以针对特定用例对Llama 32模型进行微调，并将其作为自定义模型引入Amazon Bedrock，在领域特定任务中有望超越其他模型。无论您是为了增强内容创作、语言理解还是视觉推理性能进行微调，Llama 32在Amazon Bedrock和SageMaker中的可用性使您能够创造独特且高性能的AI能力，为您的解决方案增添竞争力。

Llama 32模型架构的一些细节

Llama 32在其前任成功的基础上构建，采用了一种先进的架构，旨在实现最佳性能和多样性：

自回归语言模型 Llama 32的核心使用优化后的变换器架构，通过根据先前上下文预测下一个标记来生成文本。

微调技术 Llama 32的指令调整版本采用了两种关键技术：

监督微调SFT 使模型能够遵循特定指令并生成更相关的响应。

通过人类反馈的强化学习RLHF 通过这种先进技术，使模型输出与人类偏好对齐，增强有用性与安全性。

多模态能力 对于11B和90B Vision模型，Llama 32引入了一种新颖的图像理解方法：

单独训练的图像推理适配器权重与核心LLM权重相结合。这些适配器通过跨注意机制与主模型相连接。跨注意机制允许模型的一个部分关注另一个组件输出的相关部分，从而实现信息流动。

当输入图像时，模型将图像推理过程视为一种“工具使用”操作，使其能够在文本处理的同时进行复杂的视觉分析。在这种情况下，工具使用是指模型利用外部资源或功能来增强其能力并更有效地完成任务的通用术语。

优化推理 所有模型都支持分组查询注意力GQA，可提高推理速度和效率，特别适合较大的90B模型。

这种架构使Llama 32能够处理从文本生成与理解到复杂推理和图像分析的广泛任务，同时在不同的模型规模中保持高性能和适应性。

需要了解的事项

从Meta推出的Llama 32模型现在在Amazon Bedrock中正式可用，适用于以下AWS区域：

Llama 32 1B和3B模型可在美国西部俄勒冈州和欧洲法兰克福地区使用，并通过跨区域推理在美国东部俄亥俄州、北弗吉尼亚州和欧洲爱尔兰、巴黎地区使用。Llama 32 11B Vision和90B Vision模型可在美国西部俄勒冈州地区使用，并通过跨区域推理在美国东部俄亥俄州、北弗吉尼亚州地区使用。

请查看完整的AWS区域列表以获取未来更新的信息。欲估算您的费用，请访问Amazon Bedrock定价页面。

若要了解如何使用Llama 32的11B和90B模型支持视觉任务，请阅读AWS机器学习博客频道中的“Llama 32 11B和90B模型的视觉用例”。

AWS与Meta也正在合作，推出更小的Llama模型，以便于设备上的应用，推出新的1B和3B模型。有关更多信息，请参阅AWS与Meta提供的小型语言模型的电信机会：洞察一文。

要进一步了解Llama 32的特性和能力，请访问Amazon Bedrock文档中的Llama模型部分。今天就试试在Amazon Bedrock控制台中的Llama 32模型，并将反馈发送给AWS rePost for Amazon Bedrock。

express加速器

您可以在communityaws找到深入的技术内容，并发现我们的开发者社区如何使用Amazon Bedrock。让我们知道您在Amazon Bedrock中构建了什么！

Danilo