Elastic looks to speed up Jina Model Inference by 8x using NVIDIA RTX GPUs

Elastic 借助 NVIDIA RTX GPU 将 Jina 模型推理速度提升 8 倍 | Elastic 博客

Elastic 借助 NVIDIA RTX GPU 将 Jina 模型推理速度提升 8 倍

将 Jina 模型迁移至 NVIDIA RTX Pro 6000 GPU 的初步结果令人期待：搜索和智能代理 AI 的嵌入、重排序和 OCR 速度显著提升

By

Gregory Chase

Rachael Wade

Kapil Jadhav

2026 年 10 月 21 日

• 在 Twitter 上分享 在 Twitter 上分享

• 在 LinkedIn 上分享 在 LinkedIn 上分享

• 在 Facebook 上分享 在 Facebook 上分享

• 邮件分享 邮件分享

• 打印本页 打印

赋予 AI 代理准确基于内容回答问题的能力，需要运行不同类型的模型，每个模型处理不同的工作负载，而每个步骤都可能增加用户等待的延迟。

Elastic 的 Jina AI 提供小型前沿级阅读器、OCR、嵌入和排序模型，这些模型在从摄入到检索的整个过程中保留语义。Elastic 将其作为两项托管服务提供：用于直接调用 Jina 模型的 Jina API，以及与 Elasticsearch 本机集成的预配置 GPU 加速端点 Elastic Inference Service (EIS)。为应对日益增长的智能代理 AI 工作负载，Elastic 正在将这些服务从 NVIDIA® L40 GPU 迁移至 NVIDIA RTX Pro™ 6000 Blackwell Server Edition GPU。部分 Jina API 模型已部署在新 GPU 上，使用这些模型的客户无需任何更改即可获得速度提升。目前结果令人鼓舞：迁移后的模型最慢的嵌入请求速度提升达 8 倍，重排序速度提升超过 4 倍，OCR 将文档页面转换速度提升约 3.7 倍。我们正在继续迁移更多 Jina API 和 EIS 模型，使更多客户在每个托管模型迁移后都能看到性能提升。

Jina 模型在覆盖率和准确性方面领先其尺寸类别

Jina Reader 和 OCR 模型可将复杂文档和网站（包括图像、表格和公式）转换为带有 markdown 和 HTML 的结构化文本，并使用 LaTeX 处理公式。Jina OCR 通过单次扫描同时识别布局、文本、表格和结构，确保标题、列和表格保持完整。jina-ocr-v1 支持 100 多种语言的文本和脚本解析。输出结果可直接用于嵌入、AI 训练或作为应用程序的操作数据。在 olmOCR-bench 基准测试中，它是参数量低于 6 亿的模型中表现最佳的。

Jina 嵌入模型可将内容转换为多语言和多模态嵌入空间，使单个查询能覆盖所有内容，并以统一的置信度尺度返回结果。Jina 全能嵌入模型支持 100 多种语言的文本、图像、音频和视频处理。在 MTEB 基准测试中，jina-embeddings-v5-omni-small 是参数量低于 20 亿的开源全能模型中表现最佳的。

Jina 重排序器随后根据原始查询重新评分结果，将最佳匹配项置于最前面。Jina-reranker-v3.5（6 亿参数模型）在 STaRK 结构化数据基准测试中击败了 4 亿参数的 Qwen3-Reranker-4B 模型。

小型模型与高要求工作负载

Jina 的紧凑型模型所需的 GPU 资源少于其竞品大模型，但模型大小本身并不能决定工作负载所需的容量。请求类型的组合同样关键。

Jina API 和 EIS 是共享服务，因此大任务和小任务会并行运行在相同的 GPU 上。单个重排序请求可以携带大量候选文档，而背后的查询可能只需要快速的答案。当大任务占用 GPU 时，小请求可能会被阻塞在队列中，导致延迟增加。当我们对 NVIDIA RTX Pro 6000 进行基准测试时，支持混合工作负载是最重要的使用场景。在大任务并行运行时，小请求能否保持快速响应？

Elastic 的测量结果

我们比较了迁移前后生产流量的变化，并对生产环境无法隔离的场景进行了受控测试。延迟分位数描述了响应时间的慢速端：在 99 分位数时，每 100 个请求中有 99 个的完成时间快于显示的数值。用户能感知到的是那些响应缓慢的请求。

| 工作负载 | 测试 | 指标 | NVIDIA L4 Tensor Core GPU | NVIDIA RTXPRO 6000 | 变化 | |--------|------|------|--------------------------|------------------|------| | 嵌入 | 生产环境 | 99 分位数延迟 | 5.86 秒 | 0.73 秒 | ~8 倍 | | 重排序 | 生产环境，平均请求量增加约 40% | 90 分位数延迟 | 732 毫秒 | 171 毫秒 | 4.3 倍 | | 大型重排序任务 | 受控测试；相同软件 | 完成时间 | 702 毫秒（三块 L4） | 160 毫秒（一块 GPU） | 4.4 倍 | | 大型任务并行下的小重排序请求 | 共享 GPU 池的混合流量测试 | 延迟 | 708 毫秒 | 66 毫秒 | 10.7 倍 | | 文档 OCR（jina-ocr-v1） | 相同的真实文档页面集 | 首个输出 token 时间 | 0.50 秒 | 0.20 秒 | 2.5 倍 | | 页面转换速度 | 454 页面/小时 | 1,671 页面/小时 | 快 3.7 倍 |

单独运行小型模型本身并不能简化共享服务的容量规划。工作负载的混合程度与模型大小一样，决定了所需的 GPU 容量。在 NVIDIA Pro 6000 GPU 上，即使大型任务并行运行，小型请求也能保持快速响应。对我们的客户而言，这意味着查询不会因为同一服务上运行的大型任务而变慢。

如需了解更多关于 Elastic Inference Service 中 Jina 模型的信息，请查看文档。尝试使用 Jina API。

本文中描述的任何功能或功能的发布和发布时间表均由 Elastic 单独决定。任何当前不可用的功能可能不会按时交付，甚至可能不会交付。

在本文中，我们可能使用或引用了第三方生成式 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权，也不对这些工具的内容、操作或使用方式，或因使用这些工具而可能产生的任何损失或损害承担责任。在使用 AI 工具处理个人、敏感或机密信息时请格外谨慎。您提交的任何数据可能用于 AI 训练或其他目的。无法保证您提供的信息将被安全或保密地保存。在使用任何生成式 AI 工具之前，请熟悉其隐私政策和使用条款。

Elastic、Elasticsearch 及其相关标志是 elasticsearch B.V. 在美国和其他国家的商标、标志或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标志或注册商标。

分享

/share