AI HOT 精选

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

8.5内容质量

TL;DR · AI 摘要

面壁智能的LES技术实现35B MoE模型在手机端实时无损运行,iPhone 18 Pro Max实测20 token/s。

核心要点

  • LES技术通过调度/存储/计算三层架构实现35B MoE模型端侧部署
  • iPhone 18 Pro Max实测性能达20 token/s,验证技术可行性
  • 消融数据表明该方法可迁移到其他MoE模型的端侧部署

结构提纲

按章节快速跳转。

  1. 介绍LES技术实现35B MoE模型在手机端实时运行的突破性意义

  2. 解析调度/存储/计算三层架构设计如何实现端侧高效推理

  3. 展示iPhone 18 Pro Max实测20 token/s的性能数据

  4. 通过对比实验验证方法对其他MoE模型的可迁移性

  5. 探讨该技术在移动端大模型部署的行业应用价值

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • LES技术实现移动端MoE模型部署
    • 核心架构
      • 调度层设计
      • 存储优化
      • 计算层实现
    • 实测数据
      • iPhone 18 Pro Max
      • 20 token/s
    • 应用迁移
      • 其他MoE模型
      • 端侧部署

金句 / Highlights

值得收藏与分享的关键句。

#MoE模型#LES调度#移动端AI#面壁智能
打开原文

面壁智能解析前瞻专家调度 LES 如何让 35B MoE åœ¨æ‰‹æœºç«¯ä¾§å®žæ—¶æ— æŸè¿è¡Œ · AIHOT

å ¬ä¼—å·ï¼šé¢å£æ™ºèƒ½

·

MiniCPM-V 团队

2026-10-20 14:22

4 小时前

精选

AI 评分

68

面壁智能解析前瞻专家调度 LES 如何让 35B MoE åœ¨æ‰‹æœºç«¯ä¾§å®žæ—¶æ— æŸè¿è¡Œ

面壁智能前瞻专家调度(LES):让 35B MoE åœ¨æ‰‹æœºä¸Šå®žæ—¶æ— æŸè¿è¡Œçš„æŽ¨ç†æŠ€æœ¯

AI 导读

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE åœ¨ç«¯ä¾§å®žæ—¶æ— æŸè¿è¡Œï¼ŒiPhone 18 Pro Max å®žæµ‹è§£ç è¶ 20 token/s。

推荐理由

原文拆解了 LES åœ¨è°ƒåº¦ã€å­˜å‚¨ã€è®¡ç®—ä¸‰å±‚çš„å ·ä½“è®¾è®¡ï¼Œå¹¶ç»™å‡ºæ¶ˆèžæ•°æ®ï¼Œæ–¹æ³•å¯è¿ç§»åˆ°å ¶ä»– MoE 模型的端侧部署。

来源: å ¬ä¼—å·ï¼šé¢å£æ™ºèƒ½ · mp.weixin.qq.com

推理能力

端侧 AI

开源生态

部署工程

教程实践

#

教程/实践

端侧

推理

部署/工程