概念
别名：多模态大模型
结合多种模态数据的大型语言模型
已跟踪 3 条高相关材料
最近变化
2026-07-17 · VideoChat3是首个全开放的视频MLLM，支持高效视频理解
为什么值得关注
MLLM 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
字节开源统一框架Bernini：给DiT配个“大模型军师”，AI视频编辑先理解再动手
量子位 · 8.7 分
字节跳动开源统一视频生成与编辑框架Bernini，通过多模态大模型（MLLM）先理解语义指令并规划，再由DiT扩散模型执行高质量渲染，实现从“听指令”到“先理解再动手”的AI视频创作范式升级，支持天气、风格、动作、视角等可控编辑及参考图/视频生成。
Multimodal evaluators: MLLM-as-a-judge for image-to-text tasks in Strands Evals
AWS Machine Learning Blog · 8.5 分
AWS发布了四种多模态评估器(Overall Quality, Correctness, Faithfulness, Instruction Following)，使用MLLM-as-a-Judge方法，通过直接向模型提供图像源数据，评估多模态任务中模型响应是否与图像内容一致，...
VideoChat3 Fully Open Video MLLM for Efficient and Generalist Video Understanding
AK(@_akhaliq) · 6 分
VideoChat3是首个全开放的视频多模态大模型，支持高效通用视频理解，但技术细节披露有限。
已收录 3 条与 MLLM 相关的内容，按评分排序。
字节跳动开源统一视频生成与编辑框架Bernini，通过多模态大模型（MLLM）先理解语义指令并规划，再由DiT扩散模型执行高质量渲染，实现从“听指令”到“先理解再动手”的AI视频创作范式升级，支持天气、风格、动作、视角等可控编辑及参考图/视频生成。
入选理由：Bernini采用MLLM-based planner + DiT-based renderer双阶段架构，实现语义理解与视觉生成的解耦。
AWS发布了四种多模态评估器(Overall Quality, Correctness, Faithfulness, Instruction Following)，使用MLLM-as-a-Judge方法，通过直接向模型提供图像源数据，评估多模态任务中模型响应是否与图像内容一致，可有效检测视觉幻觉和事实错误。
入选理由：Gartner预测到2030年，80%的企业软件将采用多模态技术，比2024年不足10%大幅增长，凸显自动化多模态评估的重要性。
VideoChat3是首个全开放的视频多模态大模型，支持高效通用视频理解，但技术细节披露有限。
入选理由：VideoChat3是首个全开放的视频MLLM，支持高效视频理解
