Storage Intelligence advisor: Know what changed in your storage estate and act on it

TL;DR · AI 摘要
Storage Intelligence advisor and batch operations updates Google Cloud Blog Storage & Data Transfer Storage Intelligence...
核心要点
- 主题聚焦:Storage Intelligence advisor: Know what changed
- 来源:Google Cloud Blog,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
Storage Intelligence advisor 和批量操作更新 | Google Cloud 博客
存储与数据传输
Storage Intelligence advisor:了解存储环境的变化并采取行动
2026年9月26日
##### Salim Hafid
产品经理
##### Himanshu Kohli
##### 今天试用 Gemini Enterprise
职场人工智能的入口
立即试用
当今数据生成的规模既带来机遇也带来巨大的运营复杂性。大多数大规模运营的团队直到收到账单时才会发现问题——而当异常的访问模式出现在账单条目中时,这种模式通常已经持续了数周。理解发生了什么意味着需要导出库存数据,将其与访问日志关联,并希望有人还记得哪个服务账户对应哪个任务。
这种工作流程在过去是可以管理的,但如今的AI训练和推理流水线生成数据的速度超过了治理系统分类的能力,且读取数据的模式每周都在变化。
今天,我们宣布为Google Cloud Storage新增两项功能:Storage Intelligence advisor 正式上线,同时存储批量操作功能也得到扩展。advisor会告知您存储环境发生了哪些变化以及应如何应对。批量操作功能可以将这些决策应用于数百万个对象。这些功能现已向所有Storage Intelligence客户开放。
云控制台中的Storage Intelligence advisor。
Storage Intelligence advisor 简化报告流程
过去十年来,回答“我的存储桶中有什么?”一直是一项数据工程任务。需要导出库存数据,将其加载到可查询的位置,与使用情况数据关联,构建仪表板,然后持续维护这些内容。Storage Intelligence 提供了无需工程开销的可视化能力。团队正在用他们的工作负载投票:今年使用Storage Intelligence分析超过10亿个对象数据集的客户数量已翻倍。
运营大规模存储环境有两种方式。团队可以利用每日活动数据和元数据快照构建所需的流水线——Storage Intelligence 仍然提供这种选择——但大多数团队如果不需要的话,更倾向于不构建流水线。他们希望被告知存储环境发生了哪些变化以及应如何应对。Storage Intelligence advisor 正是为他们而设计的。
#### Advisor 在第一天为您提供什么
Storage Intelligence advisor 无需任何设置即可为您提供存储可视化。Advisor 从一组精选的发现结果开始。无需设计模式,无需管理流水线,也无需组装仪表板。只需在组织、文件夹或项目上启用Storage Intelligence,相关范围内的存储桶就会立即显示图表和发现结果。
Shipt 现在可以更快地通过Storage Intelligence advisor 检测异常:
“在Storage Intelligence advisor推出之前,跟踪关键使用指标并发现[Google Cloud Storage中的]异常需要大量工程投入和复杂的数据流水线。现在,借助原生的开箱即用仪表板,我们可以立即识别使用高峰并深入查看细节。能够立即通过可视化手段纠正意外使用情况——而无需任何配置——将原本需要大量努力的工作变成了简单的自助服务任务。” ——Shipt(Target.com的子公司)数据运维-DevOps工程师 Charley King
安装完成后,Advisor 会立即开始分析 Cloud Storage 资产,扫描异常情况和优化机会,包括:
- Class A 或 B 操作针对 Coldline 或 Archive 数据的激增。冷存储使用成本低廉但访问成本高昂。
- 429 错误的激增。当请求模式超出限制时,超时将随之发生。
- 跨区域传出流量的激增。
- 总消耗量超过长期趋势。
每个发现都基于您项目自身的活动和元数据,通过每日存储使用快照进行分析,因此某一天的激增会在 24 小时内被识别,而不是在月底才发现的账单条目。在过去 30 天内,数百个客户共生成了超过 6,000 个发现。
以一个失控的分析作业为例,该作业每天对 Archive 存储发出数百万次读取请求。如果没有 Storage Intelligence Advisor,这种情况会在几周后以检索费用的形式出现在账单上。
Advisor 会根据您项目的基线识别异常,将其归因于负责的存储桶、前缀和服务账号,并指出适用的控制措施:将受影响的对象批量迁移至 Cloud Storage Standard 以停止检索费用,启用 Autoclass 使分层符合实际访问模式,或通过 Managed Folders 限制访问权限,防止作业访问本不应访问的数据。
通过存储批量操作处理发现
大多数存储建议未被采取行动,因为执行它们需要大量工作。在数十亿对象上更新保留策略或存储类别意味着需要处理限流、部分失败和重试。Storage 批量操作消除了这些工作。执行过程完全由托管且无服务器,内置进度跟踪和自动重试,因此建议变成策略驱动的任务,而非项目。
Palo Alto Networks 对批量操作有如下评价:
"对象保留锁对我们安全防护至关重要,但以前在数十亿对象上管理它们是不可行的。Storage Intelligence 改变了这一现状。如今,我们的团队使用存储批量操作,可以按需无缝更新整个舰队的保留策略。" - Palo Alto Networks 高级首席软件工程师 Kurtis Nusbaum
由于 Storage Intelligence Advisor 和批量操作属于同一 Storage Intelligence 订阅,客户现在可以快速识别 Advisor 的问题,并通过批量操作轻松修复这些问题。
批量操作支持以下功能:
- 缓解操作激增:在检测到模式后,立即将高流量的 Archive 或 Coldline 对象批量迁移至 Standard,立即遏制检索和操作费用。
- 控制失控增长:当 Advisor 标记存储增长超出趋势时,跨特定前缀批量删除过期或临时数据。
- 强制舰队一致性:无需专用计算资源,即可在大规模对象集合中统一应用元数据、标签、保留或加密更改。
我们还扩展并增强了现有批量操作功能,使大规模执行操作更加便捷:
- 多存储桶处理:每个项目可跨最多 1,000 个存储桶运行单个作业,而不是逐个存储桶执行。
- 试运行验证。在修改实时数据之前,使用试运行模式模拟您的转换操作。试运行可帮助您在提交永久更改之前安全预览作业的影响(包括受影响的对象数量、总大小和潜在错误)。
- 由 Storage Insights 数据集支持的高级筛选器:使用通用表达式语言(CEL)表达式,通过指定与 Insights 数据集字段匹配的条件来直接选择对象。例如,您可以根据存储类别、对象大小、创建日期或自定义属性,在跨存储桶的对象中进行筛选。
以下是一个 CLI 示例,演示如何使用高级筛选器创建批量操作作业。此作业将删除用户“analytics”存储桶中属于标准存储类的所有临时对象。
加载中...
gcloud storage batch-operations jobs create bulk-delete-temp-objects \ --description="批量删除 analytics 存储桶中的临时对象" \ --target-project="my-project-id" \ --insights-dataset-config="projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset" \ --bucket-filters="name.startsWith('analytics-')" \ --object-filters="storageClass == 'STANDARD' && name.endsWith('.temp')" \ --delete-object
存储管理的演进
存储管理不应仅是季度审查和事故后应急演练的被动工作,而应是持续、主动且基于上下文的。
存储智能顾问和批量操作功能可以帮助您发现变更内容,并实现大规模的洞察与操作。随着存储智能在识别关键发现方面的能力不断提升,Cloud Storage 可以为需要大规模管理存储的团队承担更多运营工作负载。
存储智能顾问和增强的存储批量操作功能现已全面上线。
要开始使用,请在项目或组织中启用存储智能。如果您之前未使用过存储智能,可免费申请为期 30 天的试用。
发布于
- 存储与数据传输
- 管理工具