大模型基础设施、推理优化与 RAG 实践

IBISAgent通过多步交互决策重新定义医学图像分割，解决了隐式token导致的推理退化问题，显著提升分割精度。

频繁开启新会话会导致提示缓存失效并触发全价重建，保持活跃会话反而更节省Token。 任务未切换且缓存未过期时应继续当前会话，任务变更或闲置超1小时再果断开新会话。 日常开发慎用1M上下文窗口，建议配置自动压缩阈值至20万Token以控制成本并维持性能。

Cohere实现了生产级W4A8推理优化，并集成到vLLM中，显著提升性能。

OpenAI通过WebSocket优化Responses API，将复杂任务处理速度提升40%，支持高达1000 tokens/秒的推理速度。

Google Cloud Next发布存储创新，优化AI工作负载性能。

Adrien Grondin 展示了如何利用 MLX 在 iPhone 上高效运行 LLM 模型。

探讨 MoE 模型中训练与推理数值一致性问题，揭示优化陷阱。

Kimi K2.6 引入多Agent协作能力，支持300个子Agent并行完成复杂任务，革新AI协作模式。

微软研究院联合高校提出ADeLe评估框架，通过18项核心能力维度对大模型与任务进行双向量化评分。该方法能构建模型能力画像，以约88%的准确率预测未知任务表现，并精准定位模型失败原因，有效弥补传统基准测试缺乏解释性与预测力的缺陷。

QIMMA是首个对阿拉伯语LLM基准进行质量预验证的排行榜，揭示现有评测集普遍存在翻译失真、标注错误等问题，确保模型评分真实反映阿拉伯语能力。

跨维智能DexWorldModel以机器人任务成功率为核心指标重构世界模型评价体系，通过四层协同架构解决表示、记忆、推理与数据瓶颈，推动具身智能从视频生成走向真机闭环执行。

Cloudflare在11个月内构建了基于自身平台的内部AI工程栈，覆盖93%研发人员，月处理4795万AI请求，显著提升代码合并效率。

Jim Fan团队开源CaP-X，推出具身智能体框架，支持多机器人平台，包含感知、控制、仿真训练及真实部署能力。

Mem0 推出新记忆算法，在 LoCoMo 等基准上以不到 7,000 tokens/query 实现媲美竞品的准确率，显著降低推理成本。

论文揭示模型蒸馏中存在隐式信息传递：即使训练数据不含敏感语义，同源初始化的学生模型仍会继承教师的行为偏好。

美团发布 LongCat-AudioDiT，通过波形潜空间端到端生成与两项推理优化，在零样本语音克隆中实现 SOTA 音色相似度。

文章揭示RLHF训练中FP32与BF16精度差异引发的‘幻影裁剪’问题，导致PPO算法意外失效。

文章指出大模型深度扩展受限于层间通信瓶颈，提出用深度注意力替代残差连接，并通过Flash Depth Attention实现高效检索式信息流动。

Kimi团队提出PrFaaS架构，通过混合注意力模型与跨数据中心调度，实现KV Cache高效传输，显著提升长上下文推理吞吐与延迟表现。

ZJU-REAL团队开源ClawGUI框架，打通GUI智能体训练、评测与真机部署全流程，2B小模型在MobileWorld上SR达17.1，显著超越基线。

Anthropic 在 Claude Opus 4.7 系统提示中新增儿童安全标签、工具搜索机制，并优化交互逻辑以减少冗长和侵扰性行为。

黄仁勋在深度访谈中阐释Nvidia以“电子转Token”为核心使命，强调CUDA生态、供应链协同与能源制约才是AI竞争关键。

NVIDIA 利用合成数据训练出高性能多语言 OCR 模型 Nemotron OCR v2，在六种语言上显著降低错误率并实现每秒 34.7 页的推理速度。

前Meta AI研究总监田渊栋深入剖析大模型效率瓶颈、创新路径与AI洪水下的人类定位，强调自进化、持续学习和科研品位的重要性。

ElevenLabs CEO 揭示语音大模型如何通过神经网络实现情感与韵律的“涌现”，并分享其自服务驱动的高速增长与AI原生组织模式。

Cloudflare 推出 Unweight，一种无损压缩技术，在 H100 GPU 上将 LLM 模型体积减少 15–22%，不牺牲推理质量且无需专用硬件。

Coding正推动AI从聊天机器人迈向能自主执行任务的Agent，成为AGI第二幕核心驱动力，并重塑硅谷大模型竞争格局。

Meta发布SAM 3.1，通过对象多路复用和全局推理实现更快、更高效的实时视频检测与跟踪。

AI体验设计正从提示工程转向约束优先架构，以解决大模型幻觉与可信度问题。

MiniMax M2.7 实现模型自主迭代，Cursor 通过持续预训练提升编程能力，Cloudflare 将大模型推理嵌入边缘基础设施。