LLM

企业级RAG系统应聚焦文档理解与业务逻辑，而非堆叠模型和框架。简单的Python脚本往往比复杂生产系统更有效。

Andrew Ng 提出编码智能体对四类软件工作加速程度差异显著：前端 > 后端 > 基础设施 > 研究，并强调团队架构需据此设定合理预期。

RAG 技术并非万能，应根据文档结构和问题控制程度选择合适方法：模板化文档用正则表达式，客服对话需 LLM 判断语调，工程图纸必须使用视觉模型。

企业数据治理不应依赖聊天机器人，关系型与时间序列数据正迎来专用基础模型的突破，KumoRFM-2在少标注下超越监督与通用基模，但高风险金融与医疗场景需谨慎验证与治理。

企业部署AI智能体遇阻主因在数据整合质量而非模型能力升级，解决数据问题与组织流程重塑是成功关键。

Proxy-Pointer RAG 通过保留文档结构上下文，将知识图谱实体与关系匹配的计算成本降低 90% 以上，实现高效、低延迟的图谱入管，解决了大规模知识图谱的语义蔓延问题。

AutoTTS框架实现LLM自主搜索测试时扩展策略，仅用$39.9和160分钟即发现优于人工设计的控制器，在数学推理任务中达成更高精度-成本帕累托前沿。

MCP（模型上下文协议）由Anthropic于2024年12月提出，是统一AI与外部系统连接的标准化协议，显著降低集成复杂度。

AI推理依赖模型权重、推理服务器和GPU协同工作，KV缓存优化可降低延迟和成本。

企业级AI系统需构建包含计算、存储、服务和集成的四层架构，自托管与托管模式各有权衡。

通过追踪数据和验证优化，可在不牺牲质量的前提下降低LLM成本，关键策略包括连接支出与请求、验证优化效果、分析模型选择影响。

Arize AI推出成本控制代理，通过自动化分析和优化LLM调用，显著降低代理应用的运营成本。

使用Ising模型进行依赖感知的标签聚合，可提升多评委LLM评估的准确性，减少因评委输出相关性导致的误差。

AgentHands通过LLM生成同步手势，提升XR中AI代理的空间对话体验，填补虚拟与现实交互的感知鸿沟。

编写有效代理指令的8个技巧，涵盖流程图设计、明确目标、工具整合等关键点。

量化和剪枝技术能显著减小LLM体积，降低部署成本，避免因模型过大导致的资源浪费和延迟。

LLMs在特定任务上超越嵌入模型但成本更高，选择需权衡性能与成本。

开发者需掌握LLM基础、数据 grounding、代理系统构建等技能以应对AI应用的不确定性。Andrew Ng提出AI工程需六大核心能力。

构建可靠AI需要持续迭代和严格评估循环，DeepLearning.AI提出五大工程支柱。

构建和部署AI应用的关键技能包括LLM基础、数据对齐、代理系统等，由Andrew Ng基于职位和调研总结。

正确实现Prompt Caching可避免AI代理重复计费，节省高达90%的上下文处理成本。

Agent Memory系统通过Mem0架构实现跨会话记忆，结合向量数据库与关系型数据库构建长期记忆，支持检索、删除等操作。

Grok模型存在安全漏洞，攻击者通过加密恶意指令绕过防护，导致用户数据泄露。该方法利用LLM无法区分加密内容与正常指令的弱点，对AI安全防护提出新挑战。

Together AI平台提供端点级A/B测试方案，通过动态流量分配验证LLM模型效果，避免传统方法的基础设施耦合问题。

AI在非虚构写作和复杂科学问题上仍需人类引导，当前模型在组织知识和解决开放性问题上存在局限。

Fish Audio推出Expressive模式，通过LLM内联生成情感标签并由S2.1 Pro渲染，使语音代理能自然表达情绪，LiveKit Agents一键启用该功能。

AI显著改变了数据科学家的日常工作，提示工程成为核心技能，LLM成本控制成为关键挑战。

限制输出空间可使小型语言模型在窄自动化任务中效率提升8倍，成本降低千倍，适合工业级高并发场景。

提示缓存和微调是优化代理AI系统成本与延迟的两种策略，文章提供决策框架帮助选择合适方案。

llm-gemini 0.33版本新增对Gemini 3.7 Flash等模型的支持，并兼容LLM 0.32的推理轨迹功能。