Presentation: Rules for Understanding Language Models

TL;DR · AI 摘要
语言模型的行为受五条规则支配,它们更倾向于记忆而非学习,且存在语义盲点和迎合用户偏好的倾向。
核心要点
- 语言模型倾向于记忆而非学习,尤其在面对大量重复数据时。
- 模型可能通过细微的数据关联来迎合用户偏见和人口统计特征。
- 模型的语义盲点源于分词过程,可能导致对某些语义的理解缺失。
结构提纲
按章节快速跳转。
- §引言
通过一个学生Alex的例子,说明语言模型与人类学习方式的不同。
语言模型在面对大量数据时更倾向于记忆而非真正学习。
分词过程可能导致语言模型对某些语义的理解出现盲点。
模型可能通过数据关联来迎合用户的偏见和人口统计特征。
语言模型还表现出其他行为模式,如对政治观点的猜测等。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 语言模型行为规则
- 规则1:记忆而非学习
- 模型倾向于记忆大量数据
- 规则2:语义盲点
- 分词过程导致语义理解缺失
- 规则3:迎合用户偏见
- 通过数据关联迎合用户偏好
金句 / Highlights
值得收藏与分享的关键句。
语言模型倾向于记忆而不是学习,这使得它们在面对大量重复数据时表现更优。
分词过程可能导致语言模型对某些语义的理解出现盲点,影响其表现。
模型可能通过细微的数据关联来迎合用户偏见和人口统计特征,甚至能猜测政治观点。
理解语言模型的规则 - InfoQ
InfoQ 首页 演讲 理解语言模型的规则
AI、机器学习与数据工程
从日志噪声到事件情报:AI辅助可观测性的成熟度模型(网络研讨会 7月9日)
理解语言模型的规则
喜欢
新下拉阅读列表
- 阅读列表
查看演讲
- 垂直
- 水平
- 全屏
速度:
- 1x
- 1.25x
- 1.5x
- 2x
下载
- 演示文稿
40:28
总结
Naomi Saphra 讨论了支配语言模型行为的5条规则,解释了为什么大型语言模型(LLMs)表现得像人群而不是个体。她解释了分词如何导致奇怪的语义盲点,并强调了谄媚行为的机制,展示了模型如何利用微妙的数据关联来匹配用户的偏见和人口统计数据,甚至根据用户最喜欢的运动队猜测其政治观点。
个人简介
Naomi Saphra 目前是哈佛大学的 Kempner 研究员,并将于 2026 年起担任波士顿大学计算与数据科学学院的助理教授。她曾在谷歌、Meta 和纽约大学工作,并为多家初创公司提供咨询服务。她被麻省理工学院评为 EECS 新星,并获得了谷歌欧洲为残疾学生颁发的奖学金。
关于会议
QCon AI 是一个由实践者主导的活动,专注于实现这些工作负载安全扩展所需的工程学科。它提供了直接访问同行组织在生产环境中使用的架构蓝图和失败指标。
INFOQ 活动
- 2026年6月25日,东部时间下午1点:面向自主可靠性的架构:将AI嵌入到您的可观测性堆栈中 演讲者:Justin Griffin - NeuBird AI 产品负责人
- 2026年7月9日,东部时间中午12点:从日志噪声到事件情报:AI辅助可观测性的成熟度模型 演讲者:Nicolas Jung - Datadog 日志产品经理
- 2026年7月16日,东部时间下午1点:面向代理时代的工程:如何规范、构建、测试和运营AI驱动的系统 演讲者:Juveria Kanodia - Harness 工程高级总监
演讲稿
Naomi Saphra:我将从一个简短的插曲开始。我有一个叫 Alex 的学生,Alex 在微积分期末考试中得了 A+。干得好,Alex。现在 Alex 是否擅长微积分?当我们知道 Alex 得了 A+ 时,Alex 是擅长微积分的。如果我知道我每年都在使用同样的期末考试,那么 Alex 是否仍然擅长微积分?也许我不太会信任这个评估。我并不是那么懒,但我可以在很多期末考试中使用过去50年中的任何问题。Alex 看过所有这些期末考试,并从中学习过。现在 Alex 是否擅长微积分?实际上,是的。对于 Alex 来说,学习微积分比记忆50年来的微积分期末考试要容易得多。
这与语言模型的情况不同。语言模型会尽可能地进行记忆,而且对于它们来说,记忆50年来的微积分考试题要容易得多,而不是去学习微积分本身。它们会选择最容易的路。如果我们接受语言模型会尽可能记忆一切的事实,那么这就给了我们第一个规则,我们的初步规则。每当模型正确回答一个问题时,这并不意味着它真正理解了完成这个问题所需的概念。我们需要模型具备泛化能力。这意味着模型需要多样化的训练数据,这些数据会使得仅通过记忆所有这些不同内容来取得成功变得具有挑战性。我们知道这意味着你必须在保留的测试数据集上进行测试。对于现代模型来说,仅仅说它没有看到这个确切的子集是不够的,因为它们非常擅长记忆和处理许多事情,我们必须开始思考什么才算是对一个强大模型来说的“未见过”的例子。
一种思考什么是“未见过”的方法是,这个语言模型是否真的能够逐字逐句地生成我递给它的内容?它可能通过完全的机械记忆来做到这一点。对于语言模型来说,再生出你给它的任何圣经引文是很容易的,因为它已经多次看到每一个圣经引文。还有其他情况,即使这些内容没有出现在测试集中,它仍然能够逐字生成。例如,这个例子,尽管Pythia模型在训练过程中只看到过它一两次,它们却总能完成它。为什么?因为它们只是在数数,28、29、30、4、5。它们只是在进行计数。这告诉我们什么?这告诉我们模型确实知道如何泛化地进行计数。
既然它如此热衷于记忆,它是如何学会泛化地进行计数的?它是通过接触许多计数的例子,各种各样的例子,以及在许多情境下的计数。总的来说,这意味着如果我们想要谈论“未见过”的例子,我们必须谈论模型没有见过的概念组合。这意味着模型必须通过从多样化的例子中学习来处理这些情况。
让我们快速举一个这个概念的小例子。这是一个豹纹豹子。它是一只穿着豹纹的豹子。也许在测试时,我们的模型遇到一只黑色的豹子,它没有穿豹纹。也许我们希望它能够处理一个豹纹椅子。我们如何训练模型,让它能够处理一个它从未见过的豹纹椅子?它必须学会区分豹纹和豹子。它是通过看到许多不同的豹纹例子来做到这一点的。我们数据集的多样性是关键,它迫使模型学习如何通过使概念及其泛化比记忆每一个见过的豹纹物体更高效的方式来泛化。
我们做了一个小实验来验证这一点。我们设置了一个简单的场景,其中有一些对象,你需要回答关于它们的问题。这些对象包括由金属制成的闪亮球体等。我们发现,如果你控制某个原子单元(比如“闪亮”或“蓝色”)出现的上下文数量,那么概念的多样性越高,上下文的多样性也越高,而重要的是你看到它的次数的总数,而不是次数本身。这对语言模型意味着什么呢?
当我们把一群人类聚集在一起时,我们获得了一个非常棒的效果,即人类倾向于对许多事情给出不同的答案。他们说的内容各不相同,他们的背景也多种多样。如果你问一个人平均猫的重量是多少,他们可能会给出一个非常错误的答案。如果你再问几个人,平均值往往趋向于一个较好的答案。这通常被称为群体的智慧。这意味着,当很多不同的人聚集在一起时,他们的答案往往比任何一个单独的人更准确。从这一点得出的一个普遍规则是,你不能像对待一个个体那样对待一个多样化的群体,你也不能期望他们表现出相同的行为。
这对语言模型意味着什么呢?幸运的是,在某些情况下,语言模型可以代表整个分布中的一个样本,特别是当我们把温度设置为正好 1 时。此时,样本是从语言模型对真实分布的最佳近似中提取的。我们有这些国际象棋模型,它们只是训练来模仿人类国际象棋玩家。如果你将温度设置为正好 1,它们会做出与每个人类玩家相似的一般性错误。如果你将温度设置得接近 0,突然你就是在进行投票。所有这些个体国际象棋玩家,他们经常犯下糟糕的错误,这些糟糕的棋手的投票结果,比任何一个单独的棋手都要好。结果是,如果你进行投票,你最终的表现将超过实际棋手包中任何一个人的 Elo 评分,而 Elo 评分是衡量国际象棋选手的标准方法。
在温度接近 1 的时候,当你把它当作模型试图模仿实际国际象棋选手分布时,接近 Elo 1 的地方,语言模型的表现与它所学习的实际国际象棋选手的评级相当。重要的是,这些语言模型是训练来模仿糟糕的国际象棋选手的,因此它们比一群糟糕的国际象棋选手更好。如果我们训练它们使用非常优秀的国际象棋选手呢?事实证明,优秀的国际象棋选手在大多数时候实际上非常相似。突然间,将所有这些不同的人所犯的不同错误视为噪声变得不再那么容易了。要击败人类的原始评级变得困难得多。
规则 2:语言模型表现得像一个群体,而不是一个人
总的来说,我想表达的是,语言模型并不像一个人那样行事。语言模型更像是一个群体的人。这意味着,如果你能利用群体的智慧,那么语言模型将胜过这个群体中的任何一个人。它不会具有一致的个性,也不会具有一致的信念。它不是一个个体,而是一个群体。我想回到这个多样性的话题,我一直在强调这一点。我们已经看到,多样性意味着我们可以克服个体的错误。还有更多,因为我们不仅仅是在消除那些不相关的个体错误。还有一种情况,我们可以利用语言模型来超越它所训练的原始人群。
那就是当我们有多种不同的专业知识时。假设我们从一个懂得很多事情的人那里学习。比如,某人既是厨师又是医生。他们知道疫苗是安全的,也知道在烹饪前不要清洗鸡肉。从厨师和医生那里学习是非常有益的。这意味着你可以从他们那里获得正确的事实。但如果你谈论的是他们不知道的事情,就会出现问题。比如,当医生谈论食品安全,而厨师谈论医疗安全时,我们突然就处于一些危险之中。为了更现实地了解这种情况,我们可以进行一个合成实验。如果我们有一个知识图谱,其中包含许多实体之间的关系,而这些关系是语言模型在查看知识图谱之前不知道的,那么我们就可以训练一个语言模型,让它从许多不同的专家那里学习他们对这个知识图谱所知道的内容。
假设一个专家知道一些围绕这个社区、围绕这个Zephyrweaver人物的随机信息。然后我们还有另一个专家,可能对Crystalia及其所有相关事物了解很多。他们一起知道很多东西,但单独来看,他们知道的都很少。如果你训练一个由不同专业知识的专家组成的群体,结果会是你可以从一个相当大的、非常有知识的专家群体中学习得非常好。事实上,你甚至可能从一个个体知识较少但更加多样化的群体中学习得更好。我说“更好”,因为实际上,当你看到这两条线时,其中一条线表示的专家数量是另一条线的十倍,而每个专家所知道的内容却只有另一条线的十分之一。
你拥有相同的总体知识覆盖范围,但经过这些不同专家的训练后,模型的表现却优于一个拥有相同总体知识覆盖范围但专家数量仅为前者十分之一、且每位专家的知识量是前者十倍的群体。这非常酷。我之前提到过,除了多样性之外,还有一个因素在起作用,那就是他们是否真的在谈论他们所知道的内容。如果你有完全同质化的专家,他们知道的东西只是我们没有那么多的个体专业知识,就会出现这种情况。在这里你可以看到,如果这些个体专家专注于他们其实并不正确的领域,效果基本上一样糟糕。如果存在大量共享的误解,只有当这些专家实际上谈论的是他们熟悉的内容时,你才能超越这些个体专家。语言模型可以反映专家知识,但前提是有很多专家专注于他们所知道的内容,而不是他们共享的误解。
规则 3:语言模型只学习被写下来的内容
这带我们来到了第三条规则,即语言模型只学习被写下来的内容。如果人类个体在撰写他们专业知识的内容,语言模型可以超越这些个体。如果他们撰写的是误解而不是专业知识,语言模型就会学习这些误解。这听起来非常显而易见,但语言模型只学习被写下来的内容这一事实还有许多其他影响。例如,人们普遍希望也许以后再也不需要与人交谈,比如询问他们是否喜欢某个产品或他们遇到了什么问题。但实际上,语言模型往往倾向于描述其他人在描述这些群体时的样子,而不是这些群体自己描述他们的需求或偏好的方式。这是任何项目中都存在的一个问题,当你希望只是采访语言模型而不是人时,但目前这并没有阻止公司尝试这样做,因为这更便宜。
这些模型倾向于只谈论被写下来的内容这一事实带来的另一个问题是,它们只在进行后训练时获得人们请求某些事物以及聊天机器人遵从这些请求的例子。因此,它们很少接触到表达不确定或分歧的例子。这种不确定性非常重要,因为正是这种不确定性使模型能够避免产生幻觉。如果它们被训练成总是自信,它们就会开始产生幻觉。因为如果你只给它们展示模型无论什么情况下都给出最佳回应的例子,当真正向它们询问一些它们并不十分确定的事情时,比如让你生成一堆法院案例,它们在这些数据中会产生大量幻觉。实际上,这是一份数据库,有人编纂了由实际律师提交给真实法院的幻觉法院案例,现在数量已经非常庞大。
不要以为人们现在对此完全了解。我觉得也许Anthropic也遇到过类似的情况。普通用户可能并不清楚这个问题。一个好消息是,由于幻觉是由于模型在训练过程中缺乏对不确定性的接触(例如在训练期间说“我不知道”)造成的,因此你可以通过提供表达不确定性的例子来减少幻觉。这非常巧妙。
规则 4:语言模型旨在取悦用户
让我们再来看一下典型训练后设置中他们总是回避的另一件事。你通常不会看到语言模型与用户之间有太多分歧。当然,这会导致语言模型表现出讨好行为。我有一个亲身经历,我的一个朋友在与我一起工作时向我展示了一些他做的很酷的东西,我指出其中的数学是错误的。他说:“真的吗?”然后他去问了 Claude。之后我花了很长时间才说服他数学确实是错误的。这类事情的发生,可能是因为 Claude 可能已经对用户认为的正确答案有一个想法。如果语言模型知道你的信念,它就会强化这种信念。为什么这是一个问题?因为它可能会在你对答案有预期时给出错误的答案,从而降低模型的性能。另一个原因可能是,如果你提出的问题引导它朝着一些常见的误解或错误信息的方向发展,它很可能会强化这些误解。这样就可能传播错误信息。
我们最近越来越频繁地看到的另一个原因是,如果某人处于一种主动的妄想状态,或者处于真实的心理健康危机中,那么当他们与语言模型建立关系时,语言模型往往会强化这些妄想,而不是进行反驳。这正在导致人工智能精神病,这可能成为我们目前所看到的一个非常严重的问题。
我还想再谈一点,就是关于防护机制的讨好性。假设你有一些特定的信念,而某些事情对你来说比对其他人来说更具争议性或更冒犯。比如,你是一个共和党人,然后你要求提供全球变暖的证据。语言模型实际上更有可能说:“对不起,我不能回答这个问题,因为它非常具有争议性。”它不想冒犯你,它不想冒犯你到那种程度,或者与你的信念产生严重冲突,以至于它会直接说:“我不会回答你的问题。”这意味着这可能会导致实用性受限的问题,因为它会根据它认为你真正想要它说什么来改变它愿意为你做的事情。
我们在这一概念上所做的一个事情是,除了查看模拟用户明确表达的政治立场外,我们还开始向它提供隐含的政治指示。当我们向它提供明确的政治指示时,如果用户被描述为保守派,它对左翼请求的拒绝率会显著提高;如果用户被描述为自由派,它对右翼倾向请求的拒绝率也会显著提高。这意味着它试图避免任何可能冒犯特定用户的内容。正如我之前所说,它实际上可以更深入地进行推断。如果你不直接表明你的政治立场,但你提供了一些关于你人口统计数据或你所属群体的暗示,它就会推断出这些信息。这在目前尤其相关,因为这些模型倾向于在不同对话上下文中共享有关用户的信息。每次你向它提问时,它都可能结合它已经知道的关于你的各种信息来形成回答,甚至决定是否回答。
你可以看到,当我们引入具有特定人口统计信息(如年龄、种族和性别)的模拟用户时,实际上会反映出这些群体真实的投票模式。其实还可以更深入一点。事实上,你不需要说明你的人口统计信息。你只需要说,我是纽约巨人队的超级粉丝。它会准确推断出你的信念,因为你是一个巨人队的粉丝,而不是比如德州人队或牛仔队的粉丝。
我最喜欢这个结果的一点是,你可能会说,好吧,它确实是在学习你的地理位置。它知道如果你是巨人队的粉丝,你很可能来自纽约附近,但实际上有两个城市各自拥有两支球队,分别是纽约和洛杉矶,它们基本上处于同一趋势。纽约巨人队和喷气机队的粉丝群体在政治立场上有些不同。当然,这个x轴代表的是粉丝群体的真实政治立场。这个轴显示的是ChatGPT会多大程度上将你视为具有这些政治立场的用户。你也可以在洛杉矶的闪电队和公羊队之间看到同样的现象。我们把这篇论文命名为《ChatGPT不信任闪电队粉丝》,因为闪电队恰好在各种可能拒绝的原因子集中的护栏拒绝率最低,包括比如如果你让它帮你考试作弊之类的事情。
规则5:语言模型依赖微妙的关联
规则五,我们刚刚看到,语言模型并不需要你明确说明你的信念。它只需要知道你是巨人队的粉丝。对话中的任何线索或之前对话中的任何内容都可能改变当前模型的响应,因为它暗示了你作为用户的期望或信念。我在这里的总体结论是,仅仅因为对人类来说某件事很难,或者人类会以某种方式行事,并不意味着对语言模型来说这件事就很难,或者语言模型会以同样的方式行事。同样地,仅仅因为对人类来说某件事很容易,并不意味着对语言模型来说这件事就很容易。
额外规则:分词器让一切变得奇怪
我将进入我的额外示例,因为我如果不提及导致语言模型行为与人类行为产生分歧的最大原因之一,那就太不负责任了。我们已经看到,人们非常热衷于问ChatGPT蓝莓或草莓中有多少个“r”字母,并且它会完全答错。人们觉得这非常有趣,因为这对人类来说并不难,但对语言模型来说却极其困难,因为它们使用的是分词,而不是字母。这个额外的规则,我不会深入探讨,因为事实上有很多内容可以讲,如果我们要真正深入探讨分词,这将是一个完全不同的主题。分词器确实让一切变得非常奇怪。它们负责其中一件事,即语言模型另一个被广泛记录和众所周知的行为。
让我们来看这三个句子:“I can, and will, do it”,“I can (and will) do it”,“I can-and will-do it”。这些句子基本上是相同的,只是括号的使用方式略有不同。这里有一个插入语,“and will”。你可以用至少三种不同的方式来表达这个句子。分词器不会把这些视为完全相同的句子。如果它把逗号视为插入语,那么它会认为有九个词元;如果它看到的是实际的括号,那么也是九个词元;如果它看到的是破折号,那么是八个词元。为什么?因为在美式英语中,如果使用美式英语的惯例,破折号不需要周围有空格。如果你使用英式英语的惯例,比如《经济学人》的写作风格,那么你就会在破折号周围加上空格。这些语言模型,它们喜欢使用破折号,但它们从不会使用英式风格。因为它们并不想获得那种它们真正想要的优势,即它们可以方便地只生成八个词元,以传达相同的信息。它们可以跳过前面的内容,直接进入下一个词。
问题与回答
参与者1:关于你的规则的问题。这里有四个语言模型。这些规则会根据语言的不同而变化吗?这些规则是专门为在英语上训练的模型制定的吗?如果我们用其他语言训练它们,规则会改变吗?
Naomi Saphra:规则会根据你训练它们所使用的语言而改变吗?这些是完全普遍的原则。模型始终是在学习模仿一个群体,而不是某个个体。然而,当你在规则之间切换时,某些事情可能会发生变化。例如,如果你使用的是目前大多数来自美国的语言模型,比如Llama之类的,我们知道模型中间层的内部结构倾向于在一个共享的语义空间中运行,无论你提供的是哪种语言。这意味着某些信息可以从英语泄露到其他语言中,因为模型在内部用英语进行推理,然后再将其翻译出来。你可以问它某个词的定义,或者问它一些文化知识,比如孩子们放学后喜欢玩什么运动。它可能会从英语中提取出一些实际上并不正确的内容,甚至可能包括某个词的定义。
它可能会给你一个词的定义,这个定义在英语中是同音词,比如“bank”这个词在英语中有多个含义,比如河岸、银行、血库等。这些在英语中可能都是相同的,它在其他语言中也可能将它们视为相同。如果你看到一个来自中国的模型,它们在内部推理时往往会混合使用英语和中文。这也对概念和词语之间的推断关系产生了一定影响,但这种影响尚未得到充分研究。
参与者2:你提到内部语义是基于英语的,但即使在英式英语和美式英语之间,也存在一些词语的差异。例如,在美式英语中,如果你说“table the motion”,意思是推迟讨论该议题;而在英式英语中,如果你在英国议会说“table the motion”,意思是提出该议题。即使在英语内部,也存在这样的困难。
Naomi Saphra:是的,这确实如此。不同语境之间存在许多文化标记是不共享的。如果你问晚餐时间是什么时候,在大多数说西班牙语的南美洲国家,它会和美国类似,大约是晚上7点左右。而在西班牙,晚餐时间则会是晚上10点。实际上,有很多具体的事情可以作为参考,而且你不一定能接触到正确的人群。
参与者3:你说分词会让一切变得奇怪。我很想知道是否有人研究过分词或缺乏分词在像中文这样的语言中可能会让事情变得奇怪,中文的词语通常是用单个字符书写的。
Naomi Saphra:我对中文的分词了解不多,但我认为这会更奇怪,因为中文中经常会出现子字符级别的分词,而不仅仅是子词级别的分词,就像我们这里的情况一样。这意味着某些语义关系可能不再正确,因为你实际上是在描述那些不应该再有相关性的笔画。此外,分词在不同语言之间是共享的,这也可能破坏语义联系。当你查看模型内部时,通常会发现每个分词都有多个竞争性的定义,这些定义会流经模型,直到模型决定采用哪一个定义,或者通常会如何解释某些内容。
参与者4:我只是想知道在定义什么是真理以及在人口规模中赋予不同意见权重时所涉及的伦理问题,因为显然,对于一个大型语言模型来说,如果有人询问气候变化的问题,它应该给出一个特定的答案。这会是什么样子呢?
Naomi Saphra:这是一个目前非常重要的问题。对我来说,答案是,我是一个道德绝对主义者,我相信大多数事情都有一个真正的真理,当你被问到一个问题时,你希望你的模型给出正确的答案。也有可能你想要的是一个代表所有人错误信念的样本。这些只是我认为我们在构建人工智能系统时必须做出的决定,即你希望模型是正确的,还是不民主的,因为我们不是在谈论共同的投票,而是希望它代表人们在互联网上想要表达的内容。
参与者5:ChatGPT不信任充电器(Chargers)的粉丝。我确信他们一定引用了你最近发表的一篇论文,这篇论文提到了60个关于希特勒的例子。比如一些看似无害的事情,比如他喜欢某种类型的歌剧,然后通过提示进行微调,即使你没有告诉它任何错误的信念,只是告诉它一些恰好与希特勒相关的随机事实,就足以让它变成一个疯狂的希特勒机器人。这似乎非常危险。我们有没有办法防止这种情况的发生?
Naomi Saphra:是的。我们发现的一个有趣之处在于,因为这些模型正在学习关于人群以及这些人群中协方差的信息,我们最终确实发现粗鲁的行为与错误是相关的。事实证明,事情有好有坏。实际上,整个领域都存在一种类似二元对立的极端。有一些方法可以以无害的方式进入这个领域。这些事情确实存在一些微妙的关联,但总体上你仍然可以识别出这些非常强的相关性,这些相关性涉及你不想看到的各种因素。我认为这并不是世界上最糟糕的事情。我们并不处于最糟糕的境地,但确实因为存在这些非常微妙的相关性,你必须谨慎地处理它们。
参与者6:借鉴群体智慧的理念,这是否有助于防止幻觉?此外,也许对于其他问题,如果你真的让LLM与五个不同的模型进行交流,得到五个不同的答案,然后将它们综合起来,得出一个共同的答案?
Naomi Saphra:有一些集成方法可以非常有帮助。例如,模型之间的辩论有时可以帮助它更一致地得出正确答案。同时,大多数语言模型都训练在相似的数据分布上,且具有相似的后训练实践等。在这种情况下,你实际上是在对一个比人类群体多样性低得多的群体进行投票。通过询问一千个都训练在相同人群上的不同模型,你所获得的群体智慧的杠杆作用,远不如在原始训练数据中拥有一千倍多样化的专家所能获得的。
参与者7:语言模型在语言的最初形式中是否倾向于表现出偏见?例如,如果我用俄语提问,我会得到一套答案;如果用英语提问,我会得到另一套偏见。我们是否观察到类似的情况?
Naomi Saphra:有时候你用英语或俄语提问,根据语言的不同,你会得到不同的答案。在这方面已经有一些近期的研究成果。最近有一篇论文指出,如果你问一个关于南海岛屿归属的问题,用英语提问和用中文提问,会得到非常不同的答案。如果你用粤语提示符和普通话提示符提问,对某些问题也会给出不同的答案。模型总是倾向于取悦使用该语言的人群。这是根据语言不同而产生差异的一种方式。另一种方式是,如果模型在进入其共享语义空间时出现故障,而该空间是它进行所有推理的地方,可能在将其翻译成非英语语言时,会在进入该中间语言空间或从中返回时丢失信息。
查看更多带有文字稿的演讲
录制于:
2026年6月24日
由
- Naomi Saphra
#### 相关赞助商
- 代理AI堆栈中缺失的一层:为什么AI应用需要持久会话
#### 相关赞助商
使用Ably AI Transport。专为整个代理到用户体验打造的基础设施。立即开始构建。
#### 本内容属于AI、机器学习与数据工程主题
##### 相关主题:
- AI、机器学习与数据工程
- 大型语言模型
- QCon AI 2025
- 文字稿
- 人工智能
- QCon 软件开发大会
- InfoQ
- 相关编辑
- InfoQ 上最受欢迎的文章 AWS 推出 Blocks,一个开源的 TypeScript 框架,专为 AI 代理构建后端服务 Anthropic 报告称 Claude 现在处理了 95% 的内部分析查询 TSRX:一个与框架无关的 JSX 替代方案 .NET 11 预览版 5:引入基于文件的应用改进、新的 C# 特性以及一个 Blazor 验证波 Java 新闻速递:Spring 工具、Helidon、Open Liberty、TomEE、JobRunr、Hibernate、Commonhaus 如何通过 eBPF 安全且无干扰地在 Linux 内核内部进行观察