Exowatt beats frontier models on accuracy with SageMaker serverless model customization

Exowatt通过SageMaker无服务器模型定制在精度上超越前沿模型 | 人工智能

Exowatt通过SageMaker无服务器模型定制在精度上超越前沿模型

Exowatt构建模块化、可调度的太阳能系统，为人工智能数据中心等高能耗应用提供稳定电力。其旗舰产品Exowatt P3通过光学镜头捕获太阳能，将其以热能形式存储在长时热电池中，并通过热机按需发电。与并网光伏系统不同，P3直接在电表后端为数据中心供电，帮助数据中心无需等待数年的电网互联排队即可上线。Exowatt构建了一支AI代理舰队，用于监控和分类太阳能系统的实时警报，并在边缘设备上（即使在有限或无网络连接的情况下）支持运营决策。随着舰队规模从测试平台向制造和数千个部署现场单元扩展，运营这些系统的智能层也必须随之扩展。

在本文中，我们将展示Exowatt如何利用Amazon SageMaker AI无服务器模型定制构建可重复的AI流水线。该流水线为两种部署目标（边缘和云端）生成任务特定的微调模型，在成本低至49倍的情况下实现了比前沿模型更高的精度。

本文中描述的两个模型是该流水线的首批输出，而非最终目标。此次合作更持久的成果是流水线本身：一条从原始运营数据到认证训练集、微调模型和评估部署构件的可重复路径。Exowatt现在可以在数天内完成这一流程，而非数月。警报分类和能源市场分析是众多高价值细分任务中的两个示例，同样适用这种方案。

挑战：物理能源基础设施上的AI

Exowatt的能源管理系统（EMS）正在不断扩展的运营站点舰队中运行。每个站点持续产生警报：硬件组件超出规格运行、连接中断、电压读数超出范围等类似事件。随着舰队规模向数千个现场单元扩展，人工操作员无法实时监控每个站点。Exowatt需要一个AI代理，能够自主可靠地读取每个站点的警报状态，并采取或推荐正确的下一步操作。

前沿模型无法解决这个问题，原因有三：

• 任务具有专有性和狭窄性。Exowatt EMS的警报分类依赖其特定的硬件、数据和运行逻辑。通用前沿模型并未针对此场景进行专业化优化。

• 它必须在边缘运行，没有GPU且经常没有互联网连接。许多站点的连接有限或间歇性中断，因此依赖云端调用前沿模型的代理在连接中断时会使操作员失去覆盖。

• 成本无法在舰队层面扩展。将数千个站点的每个运营决策都路由到前沿模型在经济上不可行，尤其是对于持续重复的决策。

Exowatt 此时转向了模型定制化方案。Exowatt 最初的微调工作流程依赖于选择一个开源权重模型、构建容器并创建自定义训练方案，才能启动任何实验。这成为模型实验的主要障碍。此外，他们还必须决定模型微调所需的 GPU 硬件规格。随着团队加快实验节奏，每次运行首先需要选择特定的 GPU 实例类型，然后等待所选容量可用。当所选实例类型不可用时，可能会延迟运行的启动甚至完全阻塞运行。

他们需要一个足够小巧的模型，能够在无 GPU 的边缘控制器上运行，同时在特定任务上与前沿模型相比具有足够的准确性以实现自主操作。微调弥补了这一差距：一个紧凑且任务专用的模型，既可部署在云端，也可部署在边缘设备上。

解决方案概述

Exowatt 通过在 Amazon SageMaker AI 上采用云原生、无服务器的模型定制方法解决了这些挑战。相同的训练流水线为两个部署目标生成微调模型：边缘设备和云端。

Exowatt 首先在 Qwen3-1.7B 模型上实施了这一方法用于第一个用例——边缘警报分类，随后将相同方法应用于 Qwen3-14B 模型用于第二个用例——云端能源市场分析。公司计划复用该解决方案，在整个设备舰队中构建更小的、任务专用的模型。

图 1：Exowatt 微调和部署流水线，涵盖构建、云端服务和边缘服务阶段

以下七个 AWS 服务为 AI 流水线提供支持，无需管理任何实例、集群或端点：

| AWS 服务 | 用途 | |---------|------| | 亚马逊简单存储服务（Amazon S3） | 存储数据、清单、模型工件和测试集 | | 亚马逊 SageMaker AI 无服务器微调 | 从公共仓库配方启动每次微调运行 | | 亚马逊 SageMaker AI 无服务器评估 | 作为托管作业对每个候选答案进行 2000 次评分 | | SageMaker 模型注册表 | 存储所有完成的微调模型及其证据和指标 | | 亚马逊 Bedrock 自定义模型导入 | 托管用于云端 EMS 的微调 Qwen3-14B 模型，通过云端 EMS 服务私有调用。无空闲成本 | | 亚马逊 Bedrock（Claude、Qwen3） | 重写（训练数据中每个答案生成三个改写版本）和前沿模型基准测试 | | 亚马逊 Bedrock 上的 Qwen3-VL-235B 用于警报分类重写，亚马逊 Bedrock 上的 Claude Sonnet 4.6 用于能源市场重写 | | AWS Lambda + 亚马逊 EventBridge | 无服务器评估评分器和自定义模型的定期保持温暖调用 |

该工作流程分为三个阶段：

模型定制（云端）：Exowatt 使用无服务器模型定制、低秩适应（LoRA）和监督微调（SFT）在 SageMaker AI 上对开源权重基础模型进行微调。由于无服务器训练按需分配容量，团队每天可以运行多次实验，而无需等待自选的 GPU。评估后，最佳模型会注册到 SageMaker AI 模型注册表。

边缘部署：对于对延迟敏感且连接受限的任务（如警报分类），微调后的 Qwen3-1.7B 模型会被冻结、量化为 GGUF 格式，并通过 llama.cpp 在边缘 Kubernetes 容器中运行，使用现场控制器。此路径无需 GPU，且无需互联网连接。

云部署（弹性）：针对联网环境下的车队级分析，通过 Amazon Bedrock 自定义模型导入服务部署经过微调的 Qwen3-14B 能源市场模型，该服务在模型未运行时无空闲成本，仅在模型激活期间计费。

为何选择 Amazon SageMaker 无服务器模型定制

Amazon SageMaker 无服务器模型定制服务提供丰富的开源权重模型选择，并集成 SageMaker 公共模型库中现成的微调方案，使团队无需构建和优化自定义训练容器（这一过程通常需要数周时间）。对 Exowatt 而言，这将微调从稀缺的计划性事件转变为可按需调用的常规操作。这种模式在保持实验成本低廉的同时，使快速实验-测试循环成为可能。

基于预置 GPU 的微调需要选择特定实例类型、申请算力资源、等待资源就绪后运行任务，并按实例占用时长付费。通常实例占用时间包含实验间隔期间的空闲时间（此时专用实例仍持续运行）。对于需要频繁实验的小型团队而言，这种模式会减缓创新速度并增加成本。Amazon SageMaker 无服务器模型定制服务自动管理微调任务所需的基础设施，消除算力管理的复杂性，仅按微调任务实际运行时间计费。

应用场景 1：使用 Qwen3-1.7B 的边缘警报分类

Exowatt 站点全天候触发警报。一个紧凑的本地模型会结合站点状态和遥测数据对每个警报进行分析，从固定分类集合（如离线系统、降额组件或传感器不匹配）中返回分类结果，或在证据不足时明确拒绝判断。

模型选择与训练数据

团队最初尝试使用 Qwen3-8B 模型配合提示工程和防护机制，但效果在目标值（0.735 宏F1）以下停滞。微调后的 Qwen3-1.7B 模型改变了这一局面：在参数量仅为 Qwen3-8B 五分之一的情况下，该模型在这一狭窄的单轮任务中表现优于 Qwen3-8B 加提示工程的组合，同时体积足够小可支持无 GPU 的边缘推理。对 12 个数据集版本进行的 13 次 Qwen3-8B 微调尝试从未超越提示工程优化的 8B 基线模型。而使用更多样化数据的较小模型最终胜出。

训练数据集规模较小但经过精心筛选：包含 2,522 个样本，由 684 个经验证的站点场景决策和 1,838 个经过认证的改写样本组成（每个改写样本保持决策不变但重写描述文本）。这些改写样本通过 Amazon Bedrock 上的 Qwen3-235B 模型生成，费用约 3.72 美元。只有通过确定性检查确认决策、标签、证据引用和所有数字均未改变的改写样本（2,218 个候选样本中通过 1,838 个）被保留。一个故障家族数据被完全排除在训练集之外，另有 320 个案例保留用于测试。

训练与部署

在 SageMaker 无服务器微调服务上训练耗时约 32 分钟，费用约 20-25 美元。模型量化为 8 位精度（约 1.71 GiB）后，可在站点现有 CPU 服务器上的 6 GiB llama.cpp 容器中离线运行，也可在 t3.2xlarge 实例类型上运行。

应用场景 2：使用 Qwen3-14B 的云端能源市场分析

可调度储能将时间转化为运营决策：每个站点必须持续决定为负载保留多少储能以及何时释放，对于并网站点，市场条件会影响这一决策。经过精细调整的模型会读取包含6小时实时市场数据的数据包（约90行实时价格、次日预测和电网通知），并在约4秒内返回五种市场事件之一（如价格飙升或稀缺附加费）。每个主张都会与特定数据行绑定，以指导调度策略。

为何选择Qwen3-14B

选择Qwen3-14B是因为它支持Amazon Bedrock自定义模型导入，作为SageMaker公共模型库中的模型提供，附带现成的LoRA配方（无需管理自定义容器或实例类型），且约28 GiB的体积足够经济高效地部署。

训练数据和过程

Exowatt在来自德克萨斯州电力可靠性委员会（ERCOT）市场数据的公共数据集上对模型进行了微调，这些数据涵盖了五年的历史记录（约1.63亿行，横跨12张表）。团队将这些数据通过规则标注生成了25,000个示例（22,000个用于训练，1,000个用于验证，2,000个用于测试）。随后，他们通过让Amazon Bedrock上的Anthropic Claude Sonnet 4.6重写每个示例的文本（同时保持标签和数字字段不变），将训练集扩展到86,281行。

训练过程仅进行了一轮LoRA训练（秩16，alpha 32），在约8.5小时的托管无服务器微调中完成，最多同时运行四个任务。团队在六天内运行了23个任务，总耗时约155小时的托管训练，最终得到一个在Cloud EMS中部署的冠军模型。

关键的改进来自于重述多样性：为每个答案添加三个重述版本，使宏F1从0.950提升至0.975。基础模型的宏F1仅为0.415，虽然能生成有效JSON，但尚未理解市场。微调解决了这一问题。

部署

合并后的检查点在约14分钟内导入Amazon Bedrock自定义模型导入服务。该模型在空闲时无成本，仅在活跃时按每小时6.86美元计费。

基准测试结果

在边缘警报分诊任务中，微调后的Qwen3-1.7B模型从无法生成有效答案提升至320个测试案例中0.911的宏F1，优于所有前沿基线模型。在能源市场任务中，使用相同的微调和评估循环处理2,000个测试案例，Qwen3-14B达到0.975的宏F1，再次超越前沿基线模型，且成本仅为基线模型的零头。在两种情况下，小型微调模型都在特定任务上击败了远大于它的通用模型。

两个模型都返回严格的JSON格式，其中每个主张都会引用特定的输入数据行。任何不支持的主张在到达操作员之前都会被丢弃，这正是团队能够在自主物理环境中信任小型模型的原因。

模型 | 宏F1 | 每1,000个决策成本 | 离线？ --- | --- | --- | --- Claude Haiku 4.5 | 0.519 | ~4.70美元 | 否 Claude Opus 4.7 | 0.680 | ~22美元 | 否 Claude Sonnet 4.6 | 0.698 | ~15美元 | 否 微调Qwen3-1.7B | 0.911 | 0美元 | 是 基础Qwen3-1.7B | 无评分（未通过有效性检查） | |

表1：边缘警报分诊结果，微调Qwen3-1.7B与前沿模型对比

每1,000个决策0美元意味着没有计费的API或GPU推理成本。量化模型在站点现有CPU上运行。

事件准确率 | 有效JSON | 每1,000个答案成本 --- | --- | --- 基础Qwen3-14B | 0.415 | 0.54 | 0.834美元 微调Qwen3-14B | 0.975 | 0.983 | 1.000美元

$0.64 | 0.538 | 0.584 | 0.991美元 $17.79 | 0.625 | 0.718 | 0.9995美元 $29.26 | 0.625 | 0.718 | 0.9995美元 $0.60 | | |

表2：云能源市场分析结果，微调后的Qwen3-14B与前沿模型对比

成本为Amazon Bedrock列出的价格乘以每条回答的测得令牌数。微调使开源模型从最后一名跃居首位：在约49倍更低的每千条回答成本（0.60美元对比29.26美元）下，Qwen3-14B的宏观F1值比Claude Opus 4.7高出0.35（95%置信区间为0.324至0.371）。该模型在第二个后续测试集上保持0.968的宏观F1值。

业务优势

更快的迭代和更短的上市时间：Exowatt仅用9天就将定制模型从实验阶段推进到生产阶段。如果团队需要构建和优化自定义容器及训练方案、分配GPU并管理基础设施，这一过程可能需要数月。借助SageMaker AI无服务器模型定制，团队在约32分钟内训练了Qwen3-1.7B模型，在约8.5小时内训练了Qwen3-14B模型，无需容量请求且最多可同时运行四个训练任务。针对能源市场用例，Exowatt运行了23个任务，总计约155小时的托管训练，仅用6天就从基础模型过渡到微调模型并在Cloud EMS中部署。合并后的检查点在约14分钟内导入Amazon Bedrock。端到端流水线使用了7个AWS无服务器服务，Exowatt无需管理任何实例、集群或端点。

相比前沿模型更高的准确性：两个微调模型在各自任务上均优于更大的前沿模型：Qwen3-1.7B的宏观F1值为0.911（对比Claude Sonnet 4.6的0.698），Qwen3-14B的宏观F1值为0.975（对比Claude Opus 4.7的0.625）。

两种部署方式成本更低：在云端，Qwen3-14B每千条回答费用为0.60美元，而Claude Opus 4.7为29.26美元（低约49倍），且无空闲成本，仅在Amazon Bedrock自定义模型导入时运行时产生每小时6.86美元费用。在边缘端，量化后的Qwen3-1.7B模型在站点现有CPU上运行，无每推理成本且不依赖连接性。

基于证据的、低风险的输出：在两个模型中，证据围栏移除了所有未引用的声明（任何来源、字段或值与输入不完全匹配的证据引用），边缘模型在不确定时选择弃权而非猜测。这使得团队能够在一个云托管的站点副本上以影子模式自主运行该模型。

学到的经验

针对特定任务，较小的微调大语言模型可能优于大型前沿模型：微调后的Qwen3-1.7B和Qwen3-14B模型在目标任务上均优于前沿模型，以显著更小的模型规模实现了更高精度且成本仅为前沿模型的几分之一。

数据质量和多样性优于原始数据量和额外训练轮次：对于范围明确的任务，数据质量比模型规模或数据量更重要。在警报分诊模型中，更多经过验证的训练数据多样性使宏观F1值从仅基于684个验证决策的0.584提升至包含2,522行的重述扩展数据集的0.911。仅增加训练轮次效果更差：一个对照实验在684个原始行上训练11轮（相同步数）仅达到0.879。在整个过程中，精心筛选的数据比数据集规模更重要。

移除资源分配步骤改变了团队的工作方式：当训练运行不再需要等待GPU资源时，微调从罕见事件转变为常规的迭代过程。

一个训练流水线服务于两个部署目标：将模型训练与部署分离，使Exowatt能够使用相同的流水线同时支持离线边缘部署和联网舰队级分析，简化运营并加速云中模型部署。

结论

Exowatt现在拥有一个可复用的AI流水线，该流水线将任务从特定模型的数据准备延伸至模型部署。与其为不同任务调整单一模型，Exowatt计划将相同的微调原则应用于不同任务，每个任务都拥有自己的数据、特定模型和评估体系，随着新设备类型和市场任务的上线，在整个舰队中进行部署。

该模式的应用范围超越了能源行业。人工智能工程师、数据科学家和各行业领域的客户均可采用相同原则。使用Amazon SageMaker AI无服务器模型定制作为低开销AI流水线，对小型任务特定模型进行微调，然后在工作发生的地方进行部署：当连接性或延迟要求时在边缘侧部署，或通过Amazon SageMaker AI等托管云端点进行弹性工作负载部署。

欲了解更多信息，请参阅Amazon SageMaker AI无服务器模型定制和Amazon Bedrock。

作者简介

'\"