InfoQ

CSIRO Uses Serverless Architecture to Query 100x More Genomic Variants on AWS

7.1内容质量
CSIRO Uses Serverless Architecture to Query 100x More Genomic Variants on AWS

TL;DR · AI 摘要

CSIRO Uses Serverless Architecture to Query 100x More Genomic Variants on AWS - InfoQ InfoQ Homepage News CSIRO Uses Ser...

核心要点

  • 主题聚焦：CSIRO Uses Serverless Architecture to Query 100x
  • 来源：InfoQ，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

CSIRO 使用无服务器架构在 AWS 上查询 100 倍更多基因组变异 - InfoQ

InfoQ 首页 News CSIRO 使用无服务器架构在 AWS 上查询 100 倍更多基因组变异

架构与设计

QCon AI 波士顿（2027 年 7 月 8-9 日）：AI 原型已经运行。生产环境会发生什么？

CSIRO 使用无服务器架构在 AWS 上查询 100 倍更多基因组变异

2026 年 10 月 23 日 2 分钟阅读

作者：

  • Leela Kumili

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 点赞

Bluesky

收听本文 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

CSIRO 开发了 Serverless Beacon（sBeacon），这是一种无服务器架构，可在不将大型基因组数据集复制到中央数据库的情况下查询基因组变异数据。该系统使用 Amazon S3、AWS Lambda、Amazon Athena 和 Amazon DynamoDB，实现了全球基因组与健康联盟（GA4GH）Beacon 标准的实现，支持在大型队列中跨基因组查询，同时保持底层数据在原始存储中。

该架构将基因组数据与用于搜索的元数据分离。变异调用格式（VCF）文件保留在 Amazon S3 中，而疾病状态、年龄和位置等元数据则单独进行索引。在上架过程中，sBeacon 会为元数据创建索引和 Athena 表，而本体术语则通过 CSIRO 的 Ontoserver 处理，以支持结合基因组和表型信息的查询。

sBeacon 数据上架架构（来源：AWS 博客文章）

对于变异查询，API Gateway 将请求路由到 Lambda 函数，这些函数会识别相关数据集和基因组区域。变异查询模块使用 bcftools 及其 htslib 库，通过 HTTP 字节范围请求检索 VCF 文件的特定部分。这使系统能够在不传输完整文件的情况下读取所需的基因组区域。结果通过 Beacon API 进行汇总并返回。

CSIRO 生物信息产品解决方案架构师 Anuradha Wickramarachchi 强调了数据压缩在设计中的重要性，

我们特别谨慎考虑的一个关键因素是将数据压缩到最紧凑的形式。在压缩形式下进行查询具有巨大优势。

CSIRO 使用 1000 Genomes 项目中的第 1 号染色体对架构进行了评估，该染色体包含 2,504 个样本，压缩后的 VCF 文件大小为 1.1 GB。数据上架耗时 18 秒。覆盖 10,000 个碱基对的查询平均耗时 1.52 秒，预估计算成本为 0.00013 美元。随着匹配变异从 4 个增加到 400 个，延迟保持基本稳定。

Lambda 分发基因组查询，而 S3 仅提供所需的压缩文件范围（来源：AWS 博客文章）

The design builds on earlier sBeacon research published in Nature Biotechnology , which reported support for up to 40 million individuals and 3 billion genomic locations. The original Beacon work described the federated model, while the GA4GH protocol was designed to operate across distributed data sources without prescribing an underlying storage technology. The original Beacon work described the federated model as a way for organizations to retain control of their genomic data while exposing standardized query interfaces. The 2026 implementation extends that model with cloud services that provide elastic query execution while retaining genomic files in object storage.

main wrapper for authors section

About the Author

section title

main wrapper for each author

#### Leela Kumili

Show more

Show less

#### This content is in the Architecture topic

##### Related Topics:

  • Development
  • Architecture & Design
  • Serverless
  • Cost Optimization
  • S3
  • AWS Lambda
  • Scalability
  • Applied Research
  • AWS
  • Cloud Architecture
  • Science
  • Distributed Systems
  • Architecture
  • Distributed Query
  • Related Editorial
  • Related Sponsor The Practical Agentic Coding Playbook
  • Related Sponsor Automated code transformation at scale. Fix vulnerabilities, migrate frameworks, and modernize legacy code across every repo. Try Moderne Free .

The InfoQ Newsletter

A round-up of last week’s content on InfoQ sent out every Tuesday. Join a community of over 250,000 senior developers. View an example

We protect your privacy.