产品

NVIDIA Hopper

Q: NVIDIA Hopper 最近有什么新动态？

traeai 已收录 1 篇与 NVIDIA Hopper 相关的内容。最新一篇是「We’ve developed our own inference engine Runtime-Optimized Serving Engine (ROSE) to serve models ran...」，由 Perplexity(@perplexity_ai) 发布。

NVIDIA 推出的高性能计算 GPU 架构，适用于大规模 AI 训练与推理。

已跟踪 1 条高相关材料

TraeAI 观察

如果只读 3 篇

We’ve developed our own inference engine Runtime-Optimized Serving Engine (ROSE) to serve models ran...

Perplexity(@perplexity_ai) · 6.5 分

Perplexity 推出自研推理引擎 ROSE，支持从嵌入模型到万亿参数大模型的高效服务，并集成 CuTeDSL 以加速 GPU 内核定制，优化在 NVIDIA Hopper 和 Blackwell 架构上的性能。

We’ve developed our own inference engine ROSE

Perplexity(@perplexity_ai)5月6日302 字 (约 2 分钟)

Perplexity has launched its in-house inference engine ROSE, enabling efficient serving from embedding models to trillion-parameter LLMs, with CuTeDSL integration for faster GPU kernel customization.

入选理由：Perplexity 自主研发了推理引擎 ROSE，提升大模型服务效率。

FeaturedTweet#ROSE#CuTeDSL#GPU optimization#large model inference#Perplexity英文

跨材料问答 · NVIDIA Hopper

回答基于：NVIDIA Hopper 相关 1 条材料