AWS Machine Learning Blog

OpenFold3 on Amazon SageMaker JumpStart: Predict biomolecular structures

8.5内容质量
OpenFold3 on Amazon SageMaker JumpStart: Predict biomolecular structures

TL;DR · AI 摘要

AWS推出基于OpenFold3的生物分子结构预测服务,通过SageMaker JumpStart简化部署流程。

核心要点

  • OpenFold3支持蛋白质/DNA/RNA/小分子配体复合物的3D结构预测
  • SageMaker JumpStart提供预配置容器和自动扩展功能降低部署难度
  • 使用Apache 2.0许可证开放模型权重和训练数据

结构提纲

按章节快速跳转。

  1. 介绍OpenFold3在AWS上的部署方案及其生物分子预测能力

  2. OpenFold3作为全原子结构预测模型支持多链分子复合物预测

  3. 通过SageMaker JumpStart实现容器化部署和异步推理端点配置

  4. 涵盖靶点发现、抗体工程和虚拟筛选等药物研发核心环节

  5. 支持空闲时自动扩展到零实例以降低计算资源消耗

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • OpenFold3部署方案
    • 技术特性
      • 全原子预测能力
      • 多链分子支持
    • 部署流程
      • SageMaker容器化
      • 自动扩展配置
    • 应用场景
      • 药物研发
      • 结构生物学研究

金句 / Highlights

值得收藏与分享的关键句。

#OpenFold3#Amazon SageMaker#生物信息学#AI模型部署
打开原文

OpenFold3 on Amazon SageMaker JumpStart: 预测生物分子结构 | 人工智能

OpenFold3 on Amazon SageMaker JumpStart: 预测生物分子结构

您可以通过 Amazon SageMaker JumpStart 部署 OpenFold3-preview。OpenFold3 是由 OpenFold 联盟和哥伦比亚大学 AlQuraishi 实验室开发的开源生物分子结构预测模型。只需几行代码,您通常就可以将 OpenFold3 部署到自己的 AWS 账户中。随后您可以预测蛋白质、DNA、RNA、小分子配体及其形成的复合物的三维结构。端点在具有网络隔离的环境中运行,这有助于将您的序列保留在 AWS 账户内。

计算药物发现团队现在将结构预测作为其工作的重要组成部分。团队在靶点识别、抗体和蛋白质工程以及基于结构的虚拟筛选中使用该技术。团队发现运行这些模型具有挑战性。您需要 GPU 基础设施、可用的 CUDA 和 PyTorch 堆栈、大型模型检查点以及能够处理耗时数分钟而非毫秒的请求的服务层。SageMaker JumpStart 可为您处理大部分工作。OpenFold3 在 AWS 维护的容器中运行,该容器部署在托管的 Amazon SageMaker AI 端点上。该端点设计用于处理请求排队和 GPU 预热,并且可以添加自动扩展功能。

在本文中,我们将向您展示如何:

  • 在 SageMaker 异步推理端点上部署 OpenFold3-preview。
  • 提交结构预测任务并解释结果,包括预测的结构和置信度评分。
  • 在多 GPU 实例上并行运行多个预测。
  • 提供自己的多重序列比对(MSA)以提高预测准确性,同时帮助保持序列的私密性。
  • 通过在空闲时将端点扩展到零来帮助降低成本。

OpenFold3 概述

OpenFold3 是一个全原子结构预测模型。它根据序列预测一组分子的联合三维结构。它不限于单条蛋白质链:它可以一次预测多链蛋白质复合物、蛋白质-核酸复合物和蛋白质-配体复合物的结构。

属性

详情

开发者

OpenFold 联盟 / 哥伦比亚大学 AlQuraishi 实验室

模型类型

全原子生物分子结构预测

输入

蛋白质、DNA 和 RNA 序列。以 SMILES 格式提供的小分子配体

输出

以 mmCIF 格式提供的预测结构,包含置信度指标(pLDDT、PAE、PDE)

版本

OpenFold3 0.4.1,

code
of3-p2-155k

检查点

许可证

Apache 2.0

JumpStart 模型 ID

code
huggingface-proteinfolding-openfold3

支持的实例

code
ml.g6.2xlarge

,

code
ml.g6.4xlarge

(默认),

code
ml.g6.12xlarge

OpenFold3 开发者在 Apache 2.0 许可证下发布其代码和模型权重,并发布训练数据和方法。研究机构和制药公司可以在该许可证条款下检查模型、微调模型并在此基础上构建。开发者将 OpenFold3-preview 描述为研究预览版本。

应用场景

  • 靶点和复合物结构预测 – 预测没有实验结构的靶点的结构,包括多链复合物和蛋白质-核酸复合物。
  • 蛋白质-配体协同折叠 – 将蛋白质与以 SMILES 格式提供的小分子一起折叠,以生成基于结构设计的结合构象假设。
  • 抗体与蛋白质工程 – 通过预测设计变体的结构并比较候选对象的置信度来评估设计变体。
  • 高通量筛选流程 – 针对自动扩展端点批量排队预测任务,并直接从 Amazon Simple Storage Service (Amazon S3) 处理结果。

为何 OpenFold3 使用异步推理

大多数 JumpStart 模型(如大型语言模型和嵌入模型)部署到实时端点。实时端点在单个请求内返回响应,且请求时间上限为 60 秒。结构预测的工作方式不同。折叠时间会随着查询中链的数量和长度增加而增长,而现实中的蛋白质和复合物通常需要数分钟。

因此,JumpStart 上的 OpenFold3 使用 SageMaker 异步推理:

  • 将请求上传到 Amazon S3 并调用 InvokeEndpointAsync,该操作会立即返回。
  • 端点将请求排队并进行处理,调用超时时间最长可达 1 小时。
  • 端点将结果或错误信息写入您选择的 S3 位置。您可以轮询该位置,或通过 Amazon Simple Notification Service (Amazon SNS) 获取通知。

异步端点的两个特性特别适合科学工作负载。首先,它们内部可以处理请求突发,因此您可以提交大量序列的批次而无需自行构建作业队列。其次,当队列为空时,它们可以扩展到零实例,这有助于您在实验之间避免为闲置实例付费。

先决条件

要完成本操作指南,您需要:

  • 一个 AWS 账户,以及用于端点的 SageMaker AI 执行角色。遵循最小权限原则,此 AWS Identity and Access Management (IAM) 角色仅需对用于请求和结果的 S3 前缀具有读写权限。有关更多信息,请参阅 如何使用 SageMaker AI 执行角色。
  • 运行代码的标识的 IAM 权限:创建、描述、调用和删除模型、端点配置和端点,以及 iam:PassRole 执行角色。对于可选的扩展到零部分,还需要 AWS Application Auto Scaling 和 Amazon CloudWatch 报警权限。在生产环境中,应将这些权限范围限定到您的资源,而不是使用如 AmazonSageMakerFullAccess 这样的广泛管理策略。有关更多信息,请参阅 完成异步推理的先决条件。
  • 对 Amazon SageMaker Studio、SageMaker 笔记本实例或本地 IDE 的访问权限。
  • SageMaker Python SDK v3 和 py3Dmol,您可以通过 pip install "sagemaker>=3,<4" py3Dmol 安装。
  • 在您的 AWS 区域中至少一个 ml.g6.4xlarge 端点实例的服务配额。如果您遵循多 GPU 部分,还需要 ml.g6.12xlarge 的配额。您可以在 Amazon SageMaker 的 Service Quotas 控制台 中检查配额并申请增加。

重要:SageMaker 端点在运行时(包括空闲时)按实例小时计费。为避免产生意外费用,请遵循清理部分,或按照本文后面所述配置扩展到零。有关定价详情,请参阅 Amazon SageMaker AI 定价。

在 SageMaker JumpStart 中发现 OpenFold3

  • 打开 SageMaker Studio 并在导航窗格中选择 JumpStart。
  • 搜索 OpenFold3。
  • 打开模型卡片以查看模型描述、许可证和支持的实例类型。
  • 从模型卡片中打开示例笔记本。它包含本文中展示的完整异步部署流程。

使用 SageMaker Python SDK 部署 OpenFold3

首先,从其 JumpStart 配置构建模型并定义 AsyncInferenceConfig。输出和失败路径是端点写入结果和错误详细信息的 S3 位置。

code
import json, time, uuid
import boto3
from sagemaker.core.helper.session_helper import Session
from sagemaker.core.inference_config import AsyncInferenceConfig
from sagemaker.core.jumpstart.configs import JumpStartConfig
from sagemaker.core.training.configs import Compute
from sagemaker.serve.model_builder import ModelBuilder

session = Session()
bucket = session.default_bucket()          # sagemaker-{region}-{account-id}
prefix = "openfold3-async"

model_builder = ModelBuilder.from_jumpstart_config(
    jumpstart_config=JumpStartConfig(
        model_id="huggingface-proteinfolding-openfold3",
        accept_eula=True,
    ),
    compute=Compute(instance_type="ml.g6.4xlarge"),
)
model = model_builder.build()

async_config = AsyncInferenceConfig(
    output_path=f"s3://{bucket}/{prefix}/output",
    failure_path=f"s3://{bucket}/{prefix}/failure",
)

endpoint = model_builder.deploy(inference_config=async_config)
endpoint_name = endpoint.endpoint_name
print(f"已部署异步端点: {endpoint_name}")

将 accept_eula=True 设置为确认您已查看并接受模型的许可条款,这是部署此模型的必要条件。如果在 SageMaker Studio 之外运行此代码,请通过 role_arn="<role-arn>" 将您的 SageMaker 执行角色传递给 ModelBuilder.from_jumpstart_config。

端点在 Amazon S3 中存储您的请求和结果,其中包含您的序列和预测结构。对于专有序列,请考虑使用专用的 S3 存储桶或前缀,并使用您管理的 AWS 密钥管理服务 (AWS KMS) 密钥进行服务器端加密。要使用您的密钥加密结果,请将密钥的 ARN 作为 kms_key_id 传递给 AsyncInferenceConfig。使用仅允许运行此工作流的角色的存储桶策略限制访问权限,并添加 S3 生命周期规则以过期您不需要保留的请求和结果对象。有关更多信息,请参阅 Amazon S3 的安全最佳实践。

部署通常在几分钟内完成。这包括一个预热步骤,容器在每个 GPU 上运行简短的预测,以便在端点达到 InService 状态时 GPU 已预热。

提示:某些区域的 G6 资源可能有限。如果部署因 InsufficientInstanceCapacity 而失败,请稍后重试,选择其他支持的实例大小,或在模型可用的其他 AWS 区域部署。

运行结构预测

请求是一个 JSON 文档,包含一个或多个命名查询,每个查询列出其链。查询中的所有链会一起折叠为一个复合体。独立查询会分别折叠。

每个链包含以下字段:

  • molecule_type – 蛋白质、DNA、RNA 或配体。
  • chain_ids – 链标识符列表,例如 ["A"]。要指定相同副本(如同源二聚体),请使用 ["A", "B"]。
  • sequence – 残基序列,用于蛋白质、DNA 和 RNA 链。
  • smiles – SMILES 字符串,用于配体链而不是序列。

以下示例折叠人类泛素,这是一种特征明确的 76 个残基蛋白质:

code
s3 = boto3.client("s3")
smr = boto3.client("sagemaker-runtime")

payload = { "queries": { "ubiquitin": { "chains": [ { "molecule_type": "protein", "chain_ids": ["A"], "sequence": "MQIFVKTLTGKTITLEVEPSDTIENVKAKIQDKEGIPPDQQRLIFAGKQLEDGRTLSDYNIQKESTLHLVLRLRGG", } ] } } }

1. 在 S3 中准备请求

input_key = f"{prefix}/input/{uuid.uuid4().hex}.json" s3.put_object(Bucket=bucket, Key=input_key, Body=json.dumps(payload).encode())

2. 异步提交 -- 立即返回

resp = smr.invoke_endpoint_async( EndpointName=endpoint_name, ContentType="application/json", InputLocation=f"s3://{bucket}/{input_key}", InvocationTimeoutSeconds=3600, ) output_location, failure_location = resp["OutputLocation"], resp["FailureLocation"]

code

然后轮询 S3 以获取结果或失败记录:

def split(uri): b, _, k = uri.removeprefix("s3://").partition("/") return b, k

result = None for _ in range(120): # 最多约 30 分钟 for loc, is_failure in ((output_location, False), (failure_location, True)): try: body = s3.get_object(Bucket=split(loc)[0], Key=split(loc)[1])["Body"].read() except s3.exceptions.NoSuchKey: continue if is_failure: raise RuntimeError(body.decode()) result = json.loads(body) if result: break time.sleep(15)

if result is None: raise TimeoutError(f"尚未获得结果;请检查 {output_location}") if result.get("status") == "error": raise RuntimeError(result["error"])

code

包含无效输入的请求(例如格式错误的链或不支持的 MSA 名称)仍会生成结果对象,但状态为 "status": "error" 并包含错误信息,而不是结构数据。最后一个检查会显示该错误信息。

预测时间随输入规模增长。在我们对 ml.g6.4xlarge 的测试中,较小的蛋白质比较大的蛋白质完成得更快。

### 解释结果

响应包含状态、以 mmCIF 格式表示的预测结构列表及其对应的置信度。默认情况下,OpenFold3 为每个查询生成五个扩散样本,因此每个查询返回五个候选结构。每个样本附带两个置信度文件:一个详细文件(*_confidences.json)和一个摘要文件(*_confidences_aggregated.json)。摘要文件包含 sample_ranking_score,可用于选择最佳样本。

import os os.makedirs("structures", exist_ok=True) for s in result["structures"]: path = os.path.join("structures", os.path.basename(s["filename"])) with open(path, "w") as f: f.write(s["content"]) print("saved", path, f'({s["size_bytes"]/1024:.0f} KB)')

summaries = {c["filename"]: c["data"] for c in result["confidences"] if c["filename"].endswith("_aggregated.json")} for name, m in sorted(summaries.items(), key=lambda kv: -kv[1]["sample_ranking_score"]): print(f'{name}: ranking={m["sample_ranking_score"]:.2f} pLDDT={m["avg_plddt"]:.1f} ' f'pTM={m["ptm"]:.2f} ipTM={m["iptm"]:.2f}')

code

可以使用任何结构查看器(如 PyMOL、ChimeraX 或 Mol*)打开 .cif 文件。要在笔记本中内联查看结构,请使用 py3Dmol :

import py3Dmol # pip install py3Dmol view = py3Dmol.view(width=600, height=450) view.addModel(result["structures"][0]["content"], "cif")

pLDDT 存储在 B-factor 字段中:红色表示置信度低,蓝色表示置信度高

view.setStyle({"cartoon": {"colorscheme": {"prop": "b", "gradient": "roygb", "min": 50, "max": 90}}}) view.zoomTo(); view.show()

code

图 1:使用上述代码渲染的 OpenFold3 预测泛素结构,按每个原子的置信度(pLDDT)着色。本文所有图片均使用 3Dmol.js 渲染(Rego 和 Koes,Bioinformatics,2015)。

预测结果展示了泛素的致密折叠结构:由单个 α-螺旋包裹的混合 β-折叠片。结构大部分为蓝色(高置信度)。仅顶部的柔性 C 端尾部向黄色和红色偏移,这与实验结构中该尾部已知的柔性特性一致。

置信度指标告诉您应信任预测的程度:

- pLDDT(predicted local distance difference test)– 每个原子局部结构的置信度,范围 0-100。数值越高越好,通常 70 以上的值表示局部结构可靠。摘要文件报告平均值为 avg_plddt。

- pTM 和 ipTM(predicted TM-score 和 interface pTM)– 整体折叠置信度,以及链和配体之间相对位置的置信度,范围 0-1。对于复合物,ipTM 是关键指标。摘要文件还为每对链报告 chain_pair_iptm。

- PAE(predicted aligned error)和 PDE(predicted distance error)– 每对残基的误差估计,见详细置信度文件。使用它们来判断结构域和链的相对位置。

### 预测复合物

要预测复合物,请在相同查询中列出多个链。以下示例同时预测人碳酸酐酶 II 与其催化锌离子和药物乙酰唑胺的复合物。这是一个研究充分的复合物,在蛋白质数据库中有实验结构(例如 PDB 3HS4):

ca2_sequence = ( "MSHHWGYGKHNGPEHWHKDFPIAKGERQSPVDIDTHTAKYDPSLKPLSVSYDQATSLRILNNGHAFNVEFDDSQDKAVLKGG" "PLDGTYRLIQFHFHWGSLDGQGSEHTVDKKKYAAELHLVHWNTKYGDFGKAVQQPDGLAVLGIFLKVGSAKPGLQKVVDVLDS" "IKTKGKSADFTNFDPRGLLPESLDYWTYPGSLTTPPLLECVTWIVLKEPISVSSEQVLKFRKLNFNGEGEPEELMVDNWRPAQ" "PLKNRQIKASFK" )

payload = { "queries": { "ca2_acetazolamide": { "chains": [ {"molecule_type": "protein", "chain_ids": ["A"], "sequence": ca2_sequence}, {"molecule_type": "ligand", "chain_ids": ["B"], "smiles": "[Zn+2]"}, {"molecule_type": "ligand", "chain_ids": ["C"], "smiles": "CC(=O)Nc1nnc(s1)S(=O)(=O)N"}, ] } } }

code

这些示例中的蛋白质序列来自 UniProt(P0CG48,P00918)。您提交和读取此请求的方式与泛素示例相同。对于此类复合物,预测质量在很大程度上取决于提供多重序列比对(MSA),如下一节所示。

## 在多 GPU 实例上并行运行预测

单个 OpenFold3 预测在单个 GPU 上运行,因此多 GPU 实例不会加快单个预测的速度。相反,您可以同时运行多个预测。在具有四个 GPU 的多 GPU 实例(如 ml.g6.12xlarge)上,容器会为每个并发请求分配自己的 GPU。要使用所有 GPU,请将 max_concurrent_invocations_per_instance 设置为实例上的 GPU 数量(对于 ml.g6.12xlarge 为四个):

multi_gpu_builder = ModelBuilder.from_jumpstart_config( jumpstart_config=JumpStartConfig( model_id="huggingface-proteinfolding-openfold3", accept_eula=True, ), compute=Compute(instance_type="ml.g6.12xlarge"), ) multi_gpu_model = multi_gpu_builder.build()

async_config = AsyncInferenceConfig( output_path=f"s3://{bucket}/{prefix}/output", failure_path=f"s3://{bucket}/{prefix}/failure", max_concurrent_invocations_per_instance=4, # = number of GPUs on the instance )

multi_gpu_endpoint = multi_gpu_builder.deploy(inference_config=async_config)

code

这会创建第二个端点,因此在完成时请记得一并删除(参见清理部分)。

在我们的测试中,四个并发预测分别在不同的GPU上运行,随着蛋白质尺寸的增大,吞吐量提升效果愈加明显。对于较大的蛋白质,在基于按需实例定价的ml.g6.12xlarge实例上,我们测得的每预测成本接近ml.g6.4xlarge实例的成本。您的结果取决于您的输入和所在区域。关于定价信息,请参见Amazon SageMaker AI定价。

> 注意:ml.g6.12xlarge实例的容量可能受限。如果在您的区域不可用,可以通过后续介绍的自动扩展配置,在多个ml.g6.4xlarge实例上横向扩展以提高吞吐量。

使用下表选择实例:

工作负载

推荐实例

原因

单用户交互式探索

或

单个GPU以支持实例中最低的每小时成本处理单个预测

团队使用或并发请求爆发

max_concurrent_invocations_per_instance=4

code

四个预测并行运行而非排队

高吞吐量筛选

配合自动扩展

支持实例中每实例最高吞吐量。根据队列深度横向扩展,队列空闲时可回退至零

## 通过自定义MSA提高预测准确性

OpenFold3可以为每个蛋白质链接受多重序列比对(MSA)作为额外输入。MSA是一组与查询序列进化相关的比对序列。这些序列间的共变信息可以指示哪些残基可能相互接触,因此MSA可以显著提高许多蛋白质和复合物的预测准确性。

为帮助您保持序列在AWS账户内,JumpStart端点采用网络隔离配置,不会调用外部MSA服务器。相反,它接受请求中预计算的MSA。您可以在自己控制的基础设施上,使用现有的流水线和序列数据库生成比对,并将其传递给端点。这种设计有助于需要保持专有序列私密性的药物发现项目。

如果不提供MSA,端点将仅根据序列进行预测。这在小而特征明确的蛋白质(如泛素)上效果良好。对于大多数实际目标和复合物,建议包含MSA。本节其余部分将展示如何操作,以及它能提升多少结果。

### 使用自定义MSA

每个蛋白质链接受一个precomputed_msa字段:一个包含比对的列表,每个比对包含名称和以A3M或Stockholm格式存储的比对内容。对于单个合并比对(如ColabFold MMseqs2搜索的输出),使用名称colabfold_main:

with open("ca2_colabfold.a3m") as f: ca2_msa = f.read()

payload["queries"]["ca2_acetazolamide"]["chains"][0]["precomputed_msa"] = [ {"name": "colabfold_main", "content": ca2_msa} ]

code

此示例包含一个蛋白质链。如果查询包含多个不同的蛋白质链,请为每个链单独计算MSA(多重序列比对),并将其附加到该链的precomputed_msa字段中。同一chain_ids条目下列出的相同拷贝(如同源二聚体)共享一个MSA。

该接口还接受其他比对名称,如uniref90_hits、mgnify_hits和bfd_uniclust_hits,如果您使用不同的流水线生成MSA时可以使用这些名称。由于请求是通过S3分阶段处理的,您可以发送大型比对文件。在我们的测试中,数兆字节的比对文件可以正常工作。

您可以使用ColabFold(MMseqs2)、HHblits或JackHMMER等工具生成MSA。为了帮助将专有序列保留在您的环境中,建议在您自己的AWS基础设施上运行搜索,使用本地托管的序列数据库,而不是将序列发送到公共服务器。例如,ColabFold的colabfold_batch命令默认使用公共的ColabFold MSA服务器,因此对于专有序列,应改用colabfold_search并配合本地数据库。

### MSA对结果有多大影响?

我们对上一节中的碳酸酐酶II、锌和乙酰唑胺复合物在相同接口上进行了两次折叠:一次使用单序列模式,另一次使用来自ColabFold MMseqs2搜索的MSA。

指标(5个样本中的第一个)

无MSA

有MSA

平均pLDDT

30

98

pTM

0.22

0.98

ipTM

0.49

锌–His94/His96/His119距离

2.3–9.4 Å

每个2.0 Å

乙酰唑胺氮–锌距离

5.6 Å

2.0 Å

预测时间

约1.5分钟

使用MSA后,OpenFold3恢复了已知的结合模式。锌离子由三个活性位点组氨酸配位,乙酰唑胺的磺酰胺氮直接与锌结合,与实验结构一致。没有MSA时,蛋白质折叠的置信度较低,结合位点未形成。添加MSA并未显著改变预测时间。

图2:使用MSA(右)和不使用MSA(左)折叠的相同碳酸酐酶II、锌和乙酰唑胺查询。每个预测结果按pLDDT着色,并与实验晶体结构(灰色,PDB 3HS4;Sippel等,2009)叠加。

与晶体结构叠加后,基于MSA的预测与之高度吻合:蛋白质主链偏差为0.2 Å(Cα RMSD),锌离子偏差小于0.1 Å,乙酰唑胺重原子偏差为0.4 Å RMSD。单序列预测结果折叠错误,Cα RMSD为22 Å。

图3:基于MSA的预测中结合位点的特写。预测的锌离子(紫色)由His94、His96、His119和乙酰唑胺的磺酰胺氮(绿色)配位。晶体构型(灰色)几乎完全隐藏在预测结果之后。

乙酰唑胺结合的碳酸酐酶II是蛋白质数据库中研究最广泛的复合物之一,相关结构很可能包含在OpenFold3的训练数据中。请将此示例视为工作流程演示和MSA重要性的说明,而非对新目标准确性的基准测试。

当将OpenFold3结果与其他工具或已发表基准进行比较时,请确保比较对象一致:单序列结果与单序列结果比较,基于MSA的结果与基于MSA的结果比较。

## 帮助降低成本:空闲时自动缩容至零

异步接口在没有排队请求时可自动缩容至零实例,并在新请求到达时重新扩展。这种模式非常适合结构预测工作,通常以突发方式运行。

aas = boto3.client("application-autoscaling") resource_id = f"endpoint/{endpoint_name}/variant/AllTraffic"

aas.register_scalable_target( ServiceNamespace="sagemaker", ResourceId=resource_id, ScalableDimension="sagemaker:variant:DesiredInstanceCount", MinCapacity=0, MaxCapacity=4, )

通过扩展和收缩保持每个实例约4个排队请求

aas.put_scaling_policy( PolicyName="openfold3-backlog", ServiceNamespace="sagemaker", ResourceId=resource_id, ScalableDimension="sagemaker:variant:DesiredInstanceCount", PolicyType="TargetTrackingScaling", TargetTrackingScalingPolicyConfiguration={ "TargetValue": 4.0, "CustomizedMetricSpecification": { "MetricName": "ApproximateBacklogSizePerInstance", "Namespace": "AWS/SageMaker", "Dimensions": [{"Name": "EndpointName", "Value": endpoint_name}], "Statistic": "Average", }, "ScaleInCooldown": 600, "ScaleOutCooldown": 300, }, )

code

目标跟踪策略在队列空闲一段时间后会将端点扩展到零。在我们的测试中,这个过程大约需要15-20分钟。然而,目标跟踪策略无法从零重新扩展端点。为了在请求到达且没有实例运行时启动实例,请添加一个由HasBacklogWithoutCapacity指标触发的阶梯扩展策略:

cw = boto3.client("cloudwatch")

step = aas.put_scaling_policy( PolicyName="openfold3-scale-from-zero", ServiceNamespace="sagemaker", ResourceId=resource_id, ScalableDimension="sagemaker:variant:DesiredInstanceCount", PolicyType="StepScaling", StepScalingPolicyConfiguration={ "AdjustmentType": "ChangeInCapacity", "MetricAggregationType": "Average", "Cooldown": 300, "StepAdjustments": [{"MetricIntervalLowerBound": 0, "ScalingAdjustment": 1}], }, )

cw.put_metric_alarm( AlarmName=f"{endpoint_name}-has-backlog-without-capacity", Namespace="AWS/SageMaker", MetricName="HasBacklogWithoutCapacity", Dimensions=[{"Name": "EndpointName", "Value": endpoint_name}], Statistic="Average", Period=60, EvaluationPeriods=2, DatapointsToAlarm=2, Threshold=1, ComparisonOperator="GreaterThanOrEqualToThreshold", TreatMissingData="missing", AlarmActions=[step["PolicyARN"]], )

code

当请求到达一个没有实例运行的端点时,请求会在实例启动期间等待。从零扩展后的第一个请求会花费更长时间,因为它需要包括警报触发时间、实例启动时间和预测本身的时间。同一突发请求中的后续请求将以正常速度运行。这种权衡对于批量工作负载可能效果很好。对于交互式使用,请将MinCapacity=1设置为始终保持一个实例运行。更多细节请参阅《自动扩展异步端点》。

## 清理

停止产生费用时,请删除使用完毕后创建的资源。如果配置了自动扩展,请首先删除:先删除Amazon CloudWatch警报,然后取消注册可扩展目标。接着删除每个端点、其端点配置及其模型,包括如果部署了多GPU端点也要删除它:
code
# 1. 如果您配置了自动扩展,请在删除端点之前先移除它
cw.delete_alarms(AlarmNames=[f"{endpoint_name}-has-backlog-without-capacity"])
aas.deregister_scalable_target(
    ServiceNamespace="sagemaker",
    ResourceId=resource_id,
    ScalableDimension="sagemaker:variant:DesiredInstanceCount",
)

# 2. 删除端点、端点配置和模型
#    (仅包含您部署的资源)
from sagemaker.core.resources import EndpointConfig

for m, ep in ((model, endpoint), (multi_gpu_model, multi_gpu_endpoint)):
    endpoint_config = EndpointConfig.get(endpoint_config_name=ep.endpoint_name)
    m.delete()
    ep.delete()
    endpoint_config.delete()

如果您不再需要请求和结果对象,也可以从 s3://<bucket>/openfold3-async/ 中删除它们。

结论

通过 SageMaker JumpStart 上的 OpenFold3,研究和药物发现团队只需几行代码即可将一个开放且可检查的结构预测模型部署到自己的 AWS 账户中。异步推理可处理长时间运行的折叠和突发的批量工作负载,多 GPU 实例可并行运行预测。网络隔离有助于保持专有序列的私密性,由于您可以自带多重序列比对(MSA),因此无需将序列发送到外部服务器即可利用 MSA 的优势。通过“按需扩展至零”功能,当队列空置时间足够长以使端点缩小时,您将不再为端点实例付费。其他费用(如 Amazon S3 存储费用)仍然适用。

本文中的代码仅用于实验参考。在使用专有或受监管数据之前,请与安全和法律团队合作,确保符合组织的安全、监管和合规要求。

要开始使用,请在 SageMaker JumpStart 中搜索 OpenFold3,或从模型卡片中打开示例笔记本。如需了解本文中使用功能的更多信息,请参阅《异步推理》和《对异步端点进行自动扩展》。如需讨论结构生物学工作负载,请联系您的 AWS 账户团队。

作者简介

'"`

code