Deepgram enhances Amazon SageMaker AI support with AWS IAM Temporary Delegation

Deepgram通过AWS IAM临时委托增强对Amazon SageMaker AI的支持 | 人工智能

Deepgram通过AWS IAM临时委托增强对Amazon SageMaker AI的支持

运行自托管语音AI的企业需要快速且可审计的支持，而无需向合作伙伴授予长期访问其账户的权限。当模型返回意外结果或端点出现异常时，最能诊断问题的工程师往往在合作伙伴方。但为每次支持请求配置跨账户AWS Identity and Access Management (IAM)角色在操作上成本高昂，且需要反复进行审计讨论。Amazon SageMaker AI为自托管Deepgram语音AI模型提供托管部署选项。它提供AWS Marketplace中Nova、Flux和Aura-2的列表，以及经过验证的参考架构和可叠加在现有AWS基础设施上的Terraform模块。为了将同样的运营成熟度应用于第二天的支持，Deepgram已集成IAM临时委托功能，这是AWS IAM的一项新功能，可向合作伙伴授予特定资源的临时、有限范围且客户批准的访问权限，无需长期凭证、无需配置跨账户角色，也无需共享密钥。

在本文中，我们将介绍Deepgram为何选择基于IAM临时委托构建解决方案，该集成如何端到端地运作，以及它为在SageMaker AI上运行Deepgram语音模型的客户带来了哪些优势。通过此次集成，Deepgram已将SageMaker AI支持工单的初步调查时间从数天缩短至数分钟。此前，初步调查需要协调客户和合作伙伴的日历进行屏幕共享。现在，客户只需在自己的IAM控制台中批准请求，这同时也减少了长期的跨账户访问需求。

Amazon SageMaker AI为自托管Deepgram提供托管控制平面

企业客户选择自托管Deepgram的主要原因包括数据驻留、网络隔离和法规合规。但他们不希望为了实现这些目标而牺牲托管云服务的操作优势。SageMaker AI正是解决这一差距的关键：它为在客户自己的账户内部署、扩展和监控Deepgram语音模型提供了一个统一的AWS原生控制平面。

Deepgram在SageMaker AI上的投入是企业平台团队最关注的几个维度中的首要部署目标：

• AWS Marketplace中Deepgram Nova、Flux和Aura语音模型（涵盖语音转文本（STT）和文本转语音（TTS））的一键订阅和统一AWS计费。

• 覆盖Amazon Virtual Private Cloud（Amazon VPC）隔离、AWS PrivateLink、自动扩展和可观测性的经过验证的参考架构。

• 平台团队可叠加在现有AWS基础设施上的Terraform模块，而非从零开始构建部署。

其结果是，自托管体验不再意味着“你必须独自应对”。

传统方案都存在缺陷。虽然长期有效的跨账户 IAM 角色可以正常工作，但客户并不希望去创建、审计并记住要撤销它们，平台团队也不希望在下次审计时为此负责。共享屏幕和复制粘贴日志的方式效率低下、容易出错，且难以满足需要追溯每条命令来源的监管环境需求。要求客户代表 Deepgram 运行命令的方式仅适用于简单问题，无法应对需要反复迭代的复杂场景。

我们需要一种方法，让 Deepgram 工程师能够在有限的时间窗口内，获得对特定 SageMaker AI 端点的受限且可审计的访问权限，同时客户保留审批权限，且账户之间不存在持久信任关系。

先决条件

要使用本文描述的集成功能，您需要以下条件：

• AWS 账户中已部署了 Deepgram 模型到 Amazon SageMaker AI。
• AWS 账户中具有审核和批准委托请求的 IAM 权限，包括 iam:GetDelegationRequest 和 iam:AcceptDelegationRequest。
• 在 SageMaker AI 端点运行的 AWS 区域中已启用 AWS CloudTrail 跟踪，以便捕获委托的 API 调用用于审计。
• 活跃的 Deepgram 支持合同或包含 Deepgram 支持工单系统的账户。
• 了解运行此集成会产生 AWS 费用（包括 SageMaker AI 端点托管、GPU 实例、Amazon CloudWatch 日志、AWS CloudTrail 及相关网络资源）。Deepgram 提供 14 天免费试用其模型，但 AWS 基础设施费用从部署开始即适用。

IAM 临时委托

IAM 临时委托是专为这种场景设计的新 IAM 功能。

合作伙伴针对预注册的参数化权限模板提交委托请求。客户可以在自己的 IAM 控制台中查看请求，看到完全解析的权限（每个 Amazon 资源名称 ARN 都明确列出且不含通配符），然后批准请求。AWS 随后向合作伙伴颁发短期 AWS 安全令牌服务 (AWS STS) 凭据，这些凭据的权限范围由模板定义，有效期受 SessionDuration 限制，并在客户的 AWS CloudTrail 中标记合作伙伴账户 ID 以实现端到端可审计性。

无需创建 IAM 角色。无需轮换长期密钥。无需维护跨账户信任。审批流程位于安全团队熟悉的界面：客户的 IAM 控制台。

Deepgram 集成的工作原理

Deepgram 工程师在整个工作流程中继续在支持工单系统中工作。该集成直接构建在 Deepgram 支持工单系统中，通过单个 Amazon 简单通知服务 (Amazon SNS) 主题与 AWS 连接。

端到端流程（每个步骤均标注执行者，工程师、客户或系统）：

• [工程师] 在客户支持工单中运行 /delegate_access 命令。
• [客户] 当集成在工单中提示时，回复 SageMaker AI 端点 ARN（这是唯一确定整个请求范围的信息）。要查找 ARN，请运行 aws sagemaker describe-endpoint --endpoint-name <your-endpoint-name> --query EndpointArn。
• [系统] 集成调用 iam:CreateDelegationRequest，使用预注册的 DeepgramSageMakerReadOnlyTroubleshooting 权限模板，传递端点的区域、账户 ID 和名称作为运行时参数。

• [客户] 打开集成发送的IAM控制台的深度链接。如果链接无法使用，请导航至IAM控制台，然后进入访问管理，再选择委托请求。

• [客户] 在IAM控制台中查看已完全解析的权限。

• [客户] 选择“批准”以授予对一个Amazon CloudWatch日志组和一个DescribeEndpoint资源的访问权限。

• [系统] AWS将交换令牌发布到Deepgram的Amazon SNS主题。

• [系统] 集成使用sts:GetDelegatedAccessToken通过令牌换取STS凭证。

• [系统] 集成将凭证发布到工单的内部讨论中。

• [系统] 凭证在十二小时后会自动过期。

• [客户] 在凭证过期前随时通过在IAM控制台的委托请求中选择“撤销”来撤销访问权限。

• [工程师] 通过运行aws sagemaker describe-endpoint --endpoint-name <endpoint-name>并使用已颁发的STS凭证验证端点访问。

• [工程师] 通过运行aws logs tail /aws/sagemaker/Endpoints/<endpoint-name>并使用已颁发的STS凭证验证日志访问。

• [客户] 通过查看标记有Deepgram合作伙伴账户ID的AWS CloudTrail事件来验证委托活动。

图1 —— Deepgram对Amazon SageMaker AI的端到端IAM临时委托流程

客户看到的内容

当Deepgram工程师发起请求时，客户会收到一个链接。打开该链接会直接带他们到自己IAM控制台的批准页面。无需任何设置，也无需创建任何角色。

图2 —— 批准页面显示请求访问的人员、持续时间、原因以及权限的通俗语言摘要

希望查看精确权限而非摘要的客户可以选择“查看JSON”来检查完整解析的策略，其中每个操作和每个资源ARN都明确列出，且不使用通配符。权限模板在定义时是参数化的，但在批准时不会使用通配符。

图3 —— “查看JSON”显示完整的、完全限定的IAM策略

从批准页面，客户有三个选择：拒绝访问、允许访问或请求批准。拥有iam:AcceptDelegationRequest权限的审核人可以选择“允许访问”，并立即开始访问。

如果审核人没有该权限，他们可以选择“请求批准”，添加商业合理性说明，然后请求将转发给其账户管理员。管理员批准后，访问开始。

图4 —— 没有批准权限的审核人可以将请求（附带说明）转发给管理员

无论哪条路径，最终都会到达相同的确认页面：Deepgram已被授予临时、有时间限制的访问权限，其所有操作都会记录在客户的AWS CloudTrail中。

图5 —— 确认已授予范围限定且经过审核的访问权限

只读。一个端点。一个区域。一个账户。十二小时。使用委托凭证进行的API调用会在客户的AWS CloudTrail中显示，前提是CloudTrail已启用并配置为记录相关API操作，且标记有Deepgram合作伙伴账户ID。

为什么这很重要

清理

为避免持续产生费用并删除测试后的临时访问权限，请完成以下步骤：

警告：以下清理步骤将永久删除资源和日志数据。在继续操作前，请备份需要保留的日志或数据。这些操作无法撤销。

• 在IAM控制台中，导航至访问管理，然后进入委托请求。
• 撤销所有活跃的Deepgram委托请求。
• 删除SageMaker AI端点：aws sagemaker delete-endpoint --endpoint-name <endpoint-name>。
• 删除端点配置：aws sagemaker delete-endpoint-config --endpoint-config-name <config-name>。
• 删除模型：aws sagemaker delete-model --model-name <model-name>。
• 删除关联的Amazon CloudWatch日志组以停止日志存储费用：aws logs delete-log-group --log-group-name /aws/sagemaker/Endpoints/<endpoint-name>。
• 如果您专门为此次集成创建了AWS CloudTrail追踪，请在CloudTrail控制台中将其删除。
• 如果不再需要该模型，请在AWS Marketplace上取消订阅Deepgram列表。
• 通过确认aws sagemaker list-endpoints未返回任何Deepgram端点来验证清理。端点删除后，端点托管费用将停止。日志存储费用将持续到日志组被删除为止。

结论

在Amazon SageMaker AI上自托管语音AI支持企业所需的数据驻留、网络隔离和合规性要求。AWS IAM临时委托帮助弥补了此前采用该架构时存在的第二天支持缺口。两者结合，使Deepgram工程师能够在几分钟内而非几天内诊断客户端点，且客户可在自己的IAM控制台中批准范围明确、时间有限的访问权限，并在客户的AWS CloudTrail中端到端审计，无需长期凭证、跨账户角色或共享密钥。随着IAM临时委托扩展到更多AWS上的SaaS合作伙伴，Deepgram和AWS将持续投资，使安全、低摩擦的支持成为自托管语音AI的默认体验。

开始使用

SageMaker AI是自托管Deepgram语音AI模型的首选部署选项，而IAM临时委托是使第二天体验与第一天体验匹配的最新投资。SageMaker AI上所有可用的Deepgram模型（包括Nova、Flux和Aura-2）均提供14天免费试用，无需额外费用，因此平台团队可以在自己的AWS账户中搭建真实部署后再进行承诺。在SageMaker AI上运行Deepgram模型会产生端点托管（包括GPU实例）、Amazon CloudWatch日志及关联网络资源的费用。虽然Deepgram提供14天免费试用，但部署开始后即适用AWS基础设施费用，因此请查看SageMaker AI定价页面，并使用AWS成本分析器监控支出。

如需开始使用或了解更多信息，请联系您的 Deepgram 账户代表或 AWS 账户代表。如需了解相关功能的详细信息，请参阅 AWS IAM 临时委托文档。

关于作者

'"`