Vessel-specific voyage optimization with machine learning: Manta on AWS

基于机器学习的船舶专用航程优化：Manta在AWS上的实践 | AWS架构博客

基于机器学习的船舶专用航程优化：Manta在AWS上的实践

即使在看似相同的船舶之间，航程表现也会存在差异，而基于船舶类型平均值构建的模型往往难以准确捕捉这些差异。Manta Marine Technologies（Manta）通过针对每艘船舶运营历史训练的机器学习（ML）模型填补了这一空白。在本文中，我们将展示Manta如何借助亚马逊网络服务（AWS）上的机器学习实现船舶专用的航程优化，帮助船东降低燃油消耗并提升航程效率。

船体状况、吃水、机械状态、装载模式和运营实践的差异意味着，当操作人员基于船舶类型平均值构建模型时，这些模型往往无法准确反映特定船舶的实际表现。对于船东而言，这种差距直接转化为不必要的燃油消耗和成本。

Manta采用船舶专用的解决方案。该公司基于每艘船舶自身的运营历史训练机器学习模型，并结合天气和海洋条件的预测。为了在规模上支持这种方案，Manta在AWS上构建了其数据基础设施。Manta的解决方案使用了包括亚马逊弹性计算云（Amazon EC2）、亚马逊弹性容器服务（Amazon ECS）和亚马逊关系数据库服务（Amazon RDS）等服务。

下图展示了Manta在AWS上的数据基础设施架构。该系统在一个安全的多可用区环境中接收船舶数据和环境预测。Manta的解决方案处理这些数据，存储数据，并利用这些数据训练和运行机器学习模型。

图1：Manta在AWS上的数据基础设施架构

在该架构中，船舶数据和环境预测进入部署在多个可用区的亚马逊虚拟私有云（Amazon VPC）。在VPC内部，Manta使用部署在亚马逊EC2上的Apache Airflow来编排数据管道和机器学习任务，这些任务作为EC2容量上的亚马逊ECS任务运行，每种实例类型都有独立的自动扩展组和容量提供者。AWS Lambda作为客户端应用程序请求的入口点。系统将数据存储在亚马逊RDS和亚马逊DynamoDB中，并在亚马逊弹性容器注册表（Amazon ECR）中管理容器镜像。在安全性和配置管理方面，架构包含AWS Secrets Manager和AWS Systems Manager Parameter Store。Airflow调度器还驱动重新训练循环：当某艘船舶积累新的航程数据时，它会在合适的实例类型上启动训练任务，更新后的模型将用于该船舶后续的航程优化。亚马逊CloudWatch和亚马逊简单通知服务（Amazon SNS）提供所有层级的监控和告警功能。

挑战：预测特定船舶的表现

Manta的目标是实现持续从每艘船舶行为中学习并随时间改进的航程指导。这需要能够处理大量运营数据的基础设施——单次训练运行可能涉及多达30亿个数据点。该基础设施还需将历史性能与天气和海洋预测相结合。Manta的解决方案还必须运行机器学习工作流，全球范围内提供指导，并在新航程数据到达时支持持续的模型改进。

解决方案：基于AWS构建的云原生数据基础设施

Manta 在 AWS 上以云原生解决方案的形式运行其数据基础设施，部署在 Amazon VPC 内的多个可用区中。

基础设施的核心是基于 Apache Airflow 的工作流编排，运行在 Amazon EC2 实例上。由于编排层需要长期运行的服务器进程，Airflow 在持久化的 EC2 实例上运行。Airflow 通过 ECS 操作符将所有计算任务提交至 Amazon ECS，因此每条抽取、转换和加载（ETL）流水线、模型训练任务以及航次优化任务都作为 ECS 任务运行。Manta 选择在 EC2 资源上运行这些任务而非 AWS Fargate，因为 EC2 能让团队直接控制实例类型，包括 GPU 实例和特定芯片代次。Manta 为每种实例类型分别定义一个容量提供者、一个自动扩展组和一个启动模板，而非共享单一资源池。模型训练和航次优化使用不同类型的实例。按实例类型划分的容量可对每种工作负载的扩展进行精细控制，将非紧急任务运行在 Spot 实例上，将时间敏感任务运行在 On-Demand 实例上。基础设施还使用 AWS Lambda 作为客户端应用请求的入口。Lambda 函数会触发对应的 Airflow 有向无环图（DAG），或从数据库返回已处理结果。Manta 在 Amazon ECR 中管理容器镜像，为 Graviton 和 x86-64 实例、GPU 工作负载、编排和机器学习操作分别维护独立镜像。Manta 将数据存储在 Amazon RDS 和 Amazon DynamoDB 中。

在可观测性方面，Manta 使用 Amazon CloudWatch 进行监控，使用 Amazon SNS 进行告警。Manta 将非敏感的应用和基础设施配置存储在 AWS Systems Manager Parameter Store 中。对于数据库连接凭证、Airflow 应用密钥以及第三方服务的身份验证令牌等敏感值，Manta 使用 AWS Secrets Manager 进行管理。这些密钥经过加密，且通过 IAM 权限控制访问权限。Manta 为每个系统组件分配独立的 AWS Identity and Access Management（IAM）角色，并通过最小权限原则进行权限范围限定，确保每个组件仅持有其任务所需的权限。公司还使用 AWS Key Management Service（AWS KMS）对数据进行加密。

由于基础设施运行在云端，Manta 可随着新航次数据的不断产生持续改进模型。每次完成的航次都会为未来模型训练提供运营数据，Airflow 调度器会根据每艘船产生的新数据量定期重新训练该船的模型。这形成了一个学习循环，使针对特定船只的建议越来越相关。

为什么选择 AWS

借助 AWS，Manta 具备支持船队规模扩大和数据量增长的可扩展性。公司存储历史船舶性能数据，处理天气和海洋预报，训练并运行机器学习模型。同时，Manta 向全球运营的船队提供航次建议，并根据工作负载增长按需扩展计算能力。

成本效益也是一个关键因素。Manta在其ETL流水线、模型训练和航程优化工作负载中使用基于AWS Graviton实例的计算资源。对于一个处理大规模数据集的ETL流水线，Manta在迁移到Graviton实例后观察到性价比提升了约25-30%。更广泛地说，根据AWS发布的基准测试数据，Graviton实例相比同等规格的x86实例可提供高达40%的性价比提升。

借助AWS，Manta的开发团队可以专注于改进优化算法和客户成果，而无需管理物理基础设施。Manta通过AWS云开发工具包（AWS CDK）和Python AWS SDK（Boto3）将解决方案定义为基础设施即代码。采用这种模式后，团队可以快速调整架构，并通过持续集成和持续交付（CI/CD）验证系统完整性。同时还能复现完全一致的开发、测试和生产环境。

这种可复现性也改变了团队的实验方式。Manta的工程师在自己的机器上使用从系统中提取的大量船舶数据样本，开发和验证机器学习及数据工程工作。实验的唯一成本就是获取数据。由于这些工作运行在与生产环境相同的容器镜像中，经过验证的算法可以直接部署到整个舰队，无需重新设计或搭建基础设施。当实验超出本地机器的处理能力时，团队会直接在AWS上以全规模运行，而非缩减实验范围。他们只需将相同容器提交到工作负载所需的实例类型，无论是GPU算力还是大量并行CPU任务。实验成本保持在合理水平，同时在需要时又能突破资源限制。将验证后的结果扩展到所有船舶，只需进行调度决策，而无需启动新项目。

成果：基于船舶实际表现的指导方案

通过Manta的解决方案，船舶运营商可获得基于船舶自身历史表现和相关外部数据（如大气和海洋气象数据）的航程专用指导。系统通过持续改进循环不断优化这些指导方案，随着新航程数据的到达，每艘船舶的模型都会根据其运营历史进行重新训练。

船队管理者获得的指导方案围绕每艘船舶的实际表现构建，而非船舶类型平均值或行业基准。将船舶特定数据与数十年的海事运营经验相结合，帮助客户实现更环保且更具盈利能力的运营。

根据对活跃船队进行的内部航程模拟，Manta预计每艘船舶可实现约2-4%的燃料节省。随着模型持续优化和新功能的增加，公司预计将进一步提升这一成效。

结论

Manta在AWS上构建了原生云数据解决方案，为每艘船舶提供定制化的航程优化服务。部署在Amazon EC2上的Apache Airflow协调EC2、Amazon ECS和AWS Lambda之间的数据流水线和机器学习工作负载。Manta将数据存储在Amazon RDS和Amazon DynamoDB中，并通过最小权限IAM角色和AWS KMS确保安全性。随着数据量增长，Graviton实例保持解决方案的成本效益。每次完成的航程都会进入学习循环，使指导方案越来越贴合每艘船舶的实际情况。

要了解更多关于 Manta 航行优化解决方案的信息，请访问 Manta Marine Technologies 网站。如需了解本解决方案中使用的 AWS 服务信息，请参阅 AWS 文档中的 Amazon EC2、Amazon ECS 和 Amazon RDS。

相关阅读内容请参见：使用 Amazon SageMaker 进行机器学习预测船舶到达时间，以及 AWS Graviton 如何通过潜在性能提升进一步降低您的成本。

关于作者

'\"'