Few-Shot Text Classification with Scikit-LLM

KDnuggets

KDnuggets2026年10月14日

Few-Shot Text Classification with Scikit-LLM

8.5内容质量

TL;DR · AI 摘要

Scikit-LLM通过封装LLM实现少样本分类，用3-5个样本即可指导模型完成特定领域文本分类任务，比零样本方法更精准。

核心要点

Scikit-LLM提供fit()和predict()接口封装LLM能力
3-5个标注样本可实现有效少样本分类
领域特定任务中少样本优于零样本分类

结构提纲

按章节快速跳转。

§引言
传统文本分类需要大量标注数据，LLM改变了这一流程。
§零样本vs 少样本分类
零样本依赖模型预训练知识，少样本通过少量标注示例提升精度。
§Scikit-LLM实践
展示如何用3-5个样本通过Scikit-LLM实现分类任务。
·技术实现
Scikit-LLM通过适配器将LLM能力映射到scikit-learn接口。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）

少样本文本分类
- Scikit-LLM
  - fit()/predict()接口
  - LLM封装
- 分类方法对比
  - 零样本分类
  - 少样本分类
- 应用场景
  - 领域特定任务
  - 需要少量样本

金句 / Highlights

值得收藏与分享的关键句。

Scikit-LLM wraps LLM capabilities behind scikit-learn's fit() and predict() interface
— 第 2 段
⬇︎ 下载 PNG 𝕏 分享到 X
3-5 labeled examples may suffice to 'teach' a pre-trained LLM
— 第 3 段
⬇︎ 下载 PNG 𝕏 分享到 X
Few-shot classification outperforms zero-shot in domain-specific tasks with jargon
— 第 3 段
⬇︎ 下载 PNG 𝕏 分享到 X

#Scikit-LLM#文本分类#机器学习#LLM

打开原文

使用 Scikit-LLM 进行少样本文本分类 - KDnuggets

publ: 2026年10月14日

博客热门文章

主题 AI 职业建议计算机视觉数据工程数据科学语言模型机器学习 MLOps NLP 编程 Python SQL

数据集

活动

资源快速参考指南推荐技术简报

广告

订阅简报

#header end

/ad_wrapper

使用 Scikit-LLM 进行少样本文本分类

利用 Scikit-LLM 完成现代 AI 领域中最简单却最实用的文本分类任务之一：少样本分类。

作者：

Iván Palomares Carrascosa

，KDnuggets 技术内容专家，2026年10月14日发布于

语言模型

引言

如果你曾构建过文本分类模型，很可能已经熟悉标准流程：收集数百到数千个带标签的样本，清洗原始文本，将其转换为适合机器学习模型的数值表示（如嵌入向量或 TF-IDF），然后训练模型（如逻辑回归或随机森林分类器）。

然而，随着大语言模型（LLMs）的出现，规则发生了变化——这在一定程度上也影响了传统机器学习流程。现在只需让 LLM 完成分类任务即可。关键在于：从经典机器学习工作流转向提示工程可能颇具挑战。Scikit-LLM 是一个 Python 库，它弥合了这两个世界的差距。该库通过熟悉的 scikit-learn 接口（即 fit() 和 predict()）封装了预训练 LLM 的强大功能。

本文将展示如何使用 Scikit-LLM 完成现代 AI 领域中最简单却最实用的文本分类任务之一：少样本分类，即基于少量带标签的示例对文本进行分类，这些示例指导 LLM 应该执行什么操作以及如何执行。

零样本分类 vs. 少样本分类

在进入 Python 示例之前，值得澄清少样本分类与另一种随着 LLM 兴起而流行的文字分类形式——零样本分类之间的区别：

零样本分类：模型会收到一段文本和一组可能的标签，并要求将其归类到最合适的标签下——整个过程无需任何输入输出示例。这种范式完全依赖 LLM 在预训练期间获得的内部知识。
少样本分类：在要求模型对新文本进行分类之前，会先提供少量带标签的示例（即“样本”，包含文本及其对应的类别标签）。这些领域特定的示例补充了模型的内部知识，更好地引导其推理过程。

对于高度领域特定的文本分类任务（文本包含专业术语、边缘情况或细微情感），少样本分类通常比零样本分类更有效。在大多数情况下，仅提供 3 到 5 个带标签的示例就足以“教导”预训练 LLM 完成分类所需的额外规则——而无需重新训练整个模型。

好消息是：Scikit-LLM 使这一过程变得异常简单。下面是具体实现方式。

该示例可完全在 Google Colab 笔记本中运行。它使用 Groq 的 LLM API，该 API 提供对免费模型的访问。前提条件是：在 Groq 网站上注册并生成自己的 API 密钥。生成后，仔细复制 API 密钥，并将其粘贴为 Google Colab 中的新 "Secret" 变量（位于 Colab 界面左侧的钥匙图标处）。将该秘密变量命名为 GROQ_API_KEY。

接下来，按照以下方式安装 Scikit-LLM：

code

!pip install scikit-llm -q

虽然 Scikit-LLM 的设计目标是与 OpenAI 兼容的 LLM 端点配合使用，但 Groq 的 API 也属于此类。以下代码从 Google Colab Secrets 安全检索 Groq API 密钥，并应用必要的配置以连接到端点：

code

from google.colab import userdata
from skllm.config import SKLLMConfig

# 从 Google Colab Secrets 安全检索 API 密钥
groq_key = userdata.get('GROQ_API_KEY')

# 将 scikit-LLM 指向 Groq 的 OpenAI 兼容端点
SKLLMConfig.set_gpt_url("https://api.groq.com/openai/v1")
SKLLMConfig.set_openai_key(groq_key)

接下来，我们准备数据集。要使用少量样本分类，我们不需要像从头训练新模型那样需要大量标记数据集。相反，我们需要一小部分具有代表性的标记 "少量样本" 示例及其相关标签。假设我们要将 IT 支持工单分类为三个类别。按照经典机器学习惯例，我们分别将少量样本示例及其标签命名为 X_train 和 y_train。我们还定义了 X_test，其中包含三个需要分类的未标记文本：

code

# 用于教授模型细微差别的 "少量样本" 示例
X_train = [
    "我的笔记本电脑屏幕闪烁严重。",
    "我需要一个新的鼠标，滚轮坏了。",
    "每次打开宏时，Excel 都会崩溃。",
    "如何更新到最新版 Photoshop？",
    "我忘记了VPN密码。",
    "能给我共享驱动器的管理员权限吗？"
]

y_train = [
    "硬件",
    "硬件",
    "软件",
    "软件",
    "访问权限",
    "访问权限"
]

# 我们实际要预测的未见过的数据
X_test = [
    "键盘会随机输入重复的字母。",
    "我被锁定了电子邮件账户。",
    "分享屏幕时 Zoom 会冻结。"
]

要使用 Scikit-LLM，我们导入目标任务的关键类：FewShotGPTClassifier。此类将我们选择的兼容模型（例如 Groq 的 openai/gpt-oss-20b）封装在特定任务的分层结构中，使我们能够像使用 scikit-learn 训练的经典机器学习模型一样使用它：

code

from skllm.models.gpt.classification.few_shot import FewShotGPTClassifier

# 使用 Groq 免费层级确认的 2026 模型，确保包含 custom_url:: 前缀
clf = FewShotGPTClassifier(model="custom_url::openai/gpt-oss-20b")

# "训练" 模型（构建少量样本提示记忆）
clf.fit(X_train, y_train)

重要的是，fit() 方法不会对 LLM 进行实际训练（权重更新）。它只是为模型构建一个少量样本提示记忆，包含模型推理和生成响应时依赖的标记示例。

现在只需调用 predict() 即可对未标记文本示例进行预测：

code

# 生成预测结果
predictions = clf.predict(X_test)

# 显示结果
for text, label in zip(X_test, predictions):
    print(f"工单: '{text}'\n预测分类: {label}\n")

分类结果与模型分配给这三个支持工单的标签完全一致——全部正确：

code

工单：'键盘会随机输入重复字母。'
预测类别：硬件

工单：'我无法登录我的电子邮件账户。'
预测类别：访问

工单：'在共享屏幕时Zoom会冻结。'
预测类别：软件

总结

本文展示了Scikit-LLM优雅的设计如何让您将预训练的开源大语言模型转化为能够执行特定领域任务（如少样本分类）的机器学习引擎。无需进行繁重的模型再训练，也无需使用昂贵的大型付费模型——只需少量标注示例，模型就能准确分类新文本。

Iván Palomares Carrascosa 是人工智能、机器学习、深度学习和大语言模型领域的领导者、作家、演讲者和顾问。他指导他人如何在现实世界中运用人工智能。

Few-Shot Text Classification with Scikit-LLM

TL;DR · AI 摘要

核心要点

结构提纲

思维导图

金句 / Highlights

使用 Scikit-LLM 进行少样本文本分类 - KDnuggets

使用 Scikit-LLM 进行少样本文本分类

引言

零样本分类 vs. 少样本分类

总结

更多相关内容

最新文章

热门文章