Scaling UX testing with Amazon Nova Act: A new approach to user flow analysis

使用 Amazon Nova Act 扩展用户体验测试：一种新的用户流程分析方法 | 人工智能

使用 Amazon Nova Act 扩展用户体验测试：一种新的用户流程分析方法

用户体验（UX）测试面临诸多挑战，这些挑战限制了组织改进用户与平台交互方式的能力。UX 测试评估用户能否轻松有效地通过数字界面完成预定任务（如查找产品、创建账户或完成购买）。与专注于功能缺陷的传统质量保证（QA）测试不同，UX 测试通过分析用户工作流程来识别导航摩擦点和影响用户满意度的界面元素。人工测试无法扩展，测试人员只能评估有限的用户旅程，通常关注关键路径，而边缘情况则未被探索。此外，传统自动化工具需要硬编码脚本，当界面发生变化时脚本会失效，由此产生的维护成本限制了测试覆盖率。同时，对多样用户旅程、设备类型和交互模式进行全面测试，对大多数组织来说成本高昂且耗时。

Amazon Nova Act 为这些挑战提供了不同的解决方案。Nova Act 是一种多模态基础模型，能够通过视觉和操作理解并交互网页浏览器界面。与依赖预定义元素选择器的脚本工具不同，Nova Act 通过处理视觉信息智能地导航网站。它像人工测试人员一样分析网页截图。这使 Nova Act 成为自动化 UX 测试的强大工具，因为它在导航界面时能够模仿人类推理。该模型通过分析截图理解页面布局，通过视觉线索识别交互元素，并根据上下文决定下一步采取哪些操作。这种视觉理解能力使 Nova Act 能够适应界面变化，并处理传统自动化工具（如 Selenium 或 Playwright）无法处理的动态内容。Amazon Nova Act 的推理和思维链日志为网站设计和直观性提供了有价值的洞察。

使用生成式 AI 能够按规模并行执行全面的用户流程测试。该解决方案展示了如何构建一个基于云的 UX 测试平台，该平台可自动从文档中生成测试场景，利用 Nova Act 的智能导航能力按规模执行用户流程，并通过自动化分析提供可操作的见解。

解决方案概述

下图展示了包含四个部分的解决方案，从文档处理和流程发现开始，最终以最终分析结束。该解决方案由以下层次组成：

文档处理层 – 基础层负责测试场景生成：

• 亚马逊简单存储服务（Amazon S3）存储您的网站文档、用户指南和流程测试规范。这些非结构化内容为基于生成式 AI 的流程发现引擎提供了关于您的网站以及您期望用户如何与之交互的上下文信息。

• 这些文档被导入 Amazon Bedrock 知识库，用于语义相似性搜索。

• AWS Lambda 使用 Amazon Bedrock 中的 Claude 4.5 Sonnet 将用户流程转化为全面的测试场景。系统会接收任务列表，例如通过搜索购买咖啡机或通过设置菜单向账户添加新信用卡。对于每个任务，系统会从知识库中提取相关信息以理解如何在您的网站上完成该任务。Claude 会生成多层级粒度的详细测试指令，为 Amazon Nova Act 创建分步交互路径以进行测试。

编排层 – 编排层负责大规模测试执行：

• Amazon DynamoDB 存储生成的测试流程及其元数据和执行参数。
• Amazon DynamoDB Streams 在有新流程时触发批量处理。
• AWS Lambda 函数协调测试执行，并启动 Amazon Elastic Container Service (Amazon ECS) 任务以实现并行处理。

执行层 – 执行层运行智能用户流程测试：

• Amazon ECS 配合 AWS Fargate 提供可扩展的无服务器计算资源以实现并行测试执行。
• Amazon Nova Act 代理在并行浏览器会话中执行用户流程。
• 实时交互日志记录捕获详细的行为数据以供分析。

分析层 – 分析层将测试结果转化为指标：

• Amazon S3 存储详细的执行推理日志、截图和行为数据。
• AWS Lambda 使用 Amazon Bedrock 分析流程执行模式、计算可用性评分，并识别不同指令粒度层级中的摩擦点。
• Amazon DynamoDB 存储分析结果。
• 仪表板通过 React 应用程序呈现。

该架构引入了三项关键的生成式 AI 能力：通过 Amazon Bedrock 知识库从非结构化文档中提取智能流程发现（可选）、使用 Nova Act 计算机进行网站测试，以及通过自动分析识别 UX 模式和摩擦点以支持战略决策。

设置指南

部署解决方案前，请确认具备以下条件：

• Node.js v20 或更高版本。
• npm v10.8 或更高版本。
• 一个 AWS 账户。
• 已安装 AWS Cloud Development Kit (AWS CDK)（有关先决条件和安装说明，请参阅 Getting started with the AWS CDK）。

部署流程

完整解决方案和部署说明可在 aws-samples GitHub 仓库 中找到。

解决方案使用 AWS CDK 自动化基础设施部署：

git clone [email protected]:aws-samples/sample-nova-act-ux-testing.git
cd nova-act-ux-testing
cp template.env .env
# 在 .env 中添加您的 Nova Act API 密钥
# 部署解决方案
./deploy.sh

当堆栈部署完成后，请注意输出的信息。后续步骤需要这些信息。

使用解决方案

部署完成后，您有几种创建测试流程的选项：从文档自动生成、手动定义流程，或采用混合方法。我们建议结合两种方法的混合方案：首先使用自动生成从现有文档建立基线覆盖率，然后通过手动定义的流程补充特定测试用例、新功能或需要精确控制的边缘场景。

选项 1：从文档自动生成流程

该方案通过将 Lambda 函数与 Claude 4.5 Sonnet 集成，将用户任务转换为详细的测试流程。要有效使用该系统，请先确定核心用户流程并作为输入提供，确保包含实现相同目标的多种方式。例如，如果购买咖啡机是关键用户旅程，需分别将基于搜索的方法和菜单导航方法作为独立任务提交。系统会通过查阅知识库学习网站的具体实现细节，理解这些操作在您独特的网站架构中的执行方式。

系统随后会生成三个层级的测试指令，从高层用户目标到详细的逐步操作。基础指令可能仅表述为"购买一款高评价的不锈钢咖啡机"，而详细版本会扩展为具体操作，如从菜单选择厨房电器、应用材质和评分过滤器、完成结账流程。更多详情请参见 lambda/flow_discovery/index.py 。

• 上传文档：将应用程序文档、用户指南和流程规范上传至指定的 S3 存储桶。可通过 CDK 堆栈部署输出获取 S3 存储桶 URL。系统支持多种文档格式，包括用户手册、功能规范、常见用户旅程文档和现有测试用例文档。

• 上传任务规范：将 tasks.json 文件上传至以 uxflowteststack-tasksbucket 开头的 S3 存储桶。请参阅项目 README 了解预期的 JSON 格式。这将触发流程发现功能。

• 等待处理：上传后处理过程异步进行。流程发现组件会分析文档以识别潜在用户流程，并将其转换为可执行的测试场景。可通过查看 Lambda 处理日志跟踪处理状态。

• 查看生成的流程：生成的流程会出现在 DynamoDB 表中，处理完成后即可执行。

选项2：手动流程定义

如需对测试场景进行精确控制，或需要测试文档未涵盖的特定流程，可直接通过 DynamoDB 表手动定义自定义流程。可在堆栈输出中找到表名称。此方法适用于测试特定边缘情况、在文档生成前验证新功能，以及需要特定用户上下文或数据的流程测试。请参阅 README 了解所需的 JSON 模式。

关键组件：

• flow_id：用于跟踪和结果关联的唯一标识符。

• starting_url：测试流程开始的网页地址。

• instructions：供 Nova Act 执行的自然语言步骤数组。

• method_name：表示完成任务的不同方法，如使用搜索而非导航。

• gran_n：表示不同层级的指令粒度，从"通过搜索购买高评价的不锈钢吐司机"等高层指令到逐步版本。

对于需要用户认证的应用，您可以配置持久化浏览器会话以在测试运行之间保持登录状态。这消除了每次测试执行时重新认证的需要，并支持认证用户流程的测试。当测试需要从网页中提取结构化数据（如验证表单提交或捕获动态内容）时，Nova Act 支持 Pydantic 模式以实现可靠的数据提取。Nova Act 还支持文件操作，因此您可以测试上传工作流并验证下载内容。

以下是配置持久化认证的示例。您可以在 Amazon ECS 的 ecs/ecs_act_headless/app.py 中找到并修改运行 Nova Act 流程的 Python 代码。

with NovaAct(
    starting_page="https://yourapp.com/purchase",
    user_data_dir="/tmp/authenticated-session",
    clone_user_data_dir=False
) as nova:
    # 您的认证测试流程在此运行
    nova.act("search for bananas")
    nova.act("purchase 2 bunches")

有关使用 Pydantic 模式进行结构化数据提取、文件上传/下载处理以及认证设置的详细实现，请参阅 Nova Act SDK 文档。

执行结果

该解决方案为每次测试执行生成以下结果并存储在 Amazon S3 中。您可以在 flow-test-results-bucket 中找到原始结果。

• 概要指标 (results_summary.json)：

每次测试执行都会生成一个包含流程执行高层指标的概要文件。概要包括每个步骤的持续时间、所需操作数量、成功/失败状态以及任何提取的数据。

{
    "flow_id": "ecommerce_purchase_flow",
    "batch_id": "batch_12345",
    "timestamp": "2026-07-01T20:50:01.811454",
    "results": [
        {
            "instruction": "search for desk lamp",
            "response": null,
            "metadata": {
                "num_steps": 3,
                "duration": 17.57,
                "success": true
            }
        },
        {
            "instruction": "select the first result",
            "response": null,
            "metadata": {
                "num_steps": 2,
                "duration": 11.1,
                "success": true
            }
        },
        etc...
    ]
}

• 详细交互日志：Amazon Nova Act SDK 生成详细的 HTML 报告，显示 Nova Act 观察到的截图、决策过程和推理以及采取的具体操作（点击、滚动、表单输入）。

分析方法

Lambda 函数处理原始执行结果，并跨不同抽象层计算指标，以计算原始计数、基础设施调整信号和复合质量评分。这些指标为针对多个受众和使用场景构建的 React 仪表板提供支持。

仪表板分为不同的标签页。例如，概述标签页显示测试运行的整体健康状况，有一个专门的错误调整面板，将基础设施故障与真正的代理故障区分开来。性能与效率标签页按粒度级别分解步骤和流程时间，显示指令详细程度如何影响被测用户体验的质量。

以下截图展示了几个关键指标。

清理

要清理解决方案，请运行以下命令：

cdk destroy

结论

用户体验测试传统上需要大量时间和资源，这往往限制了团队验证界面的彻底性。Amazon Nova Act 解决方案通过在大规模场景下自动化执行测试，解决了这些限制。

Nova Act 的智能浏览器交互功能与可扩展的云基础设施相结合，为用户体验测试创造了新的模式。借助这一模式，团队现在可以在大规模场景中实际开展全面的流程测试、界面验证和数据驱动的用户体验决策。团队现在可以测试更多的用户旅程，更早发现潜在问题，并加快用户体验的迭代速度。

团队可以使用 Nova Act 自动化功能在发布前对每个新功能和界面变更进行全面测试。与有限的抽样测试不同，团队可以跨不同设备和场景验证完整的用户旅程。这种全面的测试方法有助于尽早发现用户体验问题，同时减少测试成本和人工验证变更所需的时间。

了解更多信息

如需了解更多信息，请参考以下资源：

• [介绍 Amazon Nova Act](url)
• [Amazon Nova Act 首页](url)
• [Amazon Nova Act Python SDK](url)
• [Amazon Nova Act SDK（预览版）：浏览器自动化代理的生产路径](url)

关于作者

'"{ "name": "作者姓名", "title": "职位/头衔", "company": "所属公司", "bio": "作者简介" }"