Towards Data Science

How to Validate LLM Output in a DuckDB and dbt Pipeline

7.1内容质量

TL;DR · AI 摘要

Validating LLM Output With dbt Tests and DuckDB Large Language Models How to Validate LLM Output in a DuckDB and dbt Pip...

核心要点

  • 主题聚焦:How to Validate LLM Output in a DuckDB and dbt P
  • 来源:Towards Data Science,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

使用 dbt 测试和 DuckDB 验证 LLM 输出

大型语言模型

如何在 DuckDB 和 dbt 流水线中验证 LLM 输出

一个 Gemini Flash-Lite 步骤从 18 个 RemoteOK 职位中提取技能、职级和尼日利亚资格,Python 检查和 dbt 测试守护每个答案。

Ibrahim Salami

2026 年 11 月 10 日

14 分钟阅读

在 Google 上关注我们

分享

作者图片

我最近构建了一个令我自豪的流水线,它解决了一个我实际面临的问题:如何跟踪我正在进入的行业(数据工程)发布的职位?我成功解决到了一定程度,我有一个从两个来源提取数据的流水线:Hacker News(用于了解行业文章)和 RemoteOk(用于跟踪行业相关远程职位)。

这是流水线架构的详细图示

但还缺少一些东西。该流水线只能告诉我职位存在以及开放和关闭的时间,却无法告诉我职位具体要求什么。

当我完成职业市场流水线时,我对它感到满意。它从 RemoteOK 提取远程数据职位,加载到 DuckDB,用 dbt 清洗数据,并使用快照记录职位开放和关闭的时间。我希望这个流水线能更丰富一些。

因此我决定添加 AI,但有一个规则:它必须在流水线内部真正执行任务。

在本文中,我将分享整个过程,展示我是如何通过 AI 让职业市场流水线更加丰富的。我将展示代码、首次在真实职位上的运行结果、需要暂停检查模型输出的时刻,以及一次数据本身才是罪魁祸首的时刻。

AI 的位置

我选择将 AI 作为流水线的一个阶段,放置在加载职位和测试之间,而不是在顶部添加一个通用聊天机器人。

从下面的架构图可以看出:

有一个额外的 AI 增强步骤。它的目标是帮助我更好地理解哪些职位真正与我相关——无论是我的技能集、职级还是地理位置。

对于每个职位,我要求提取以下五项信息:

  • 技能:职位描述中明确提到的工具和技术,以短小写名称的列表形式存储。
  • 职级:角色预期的经验水平。可能的取值为 intern、junior、mid、senior、lead 或 unknown。
  • years_experience_min:要求的最低工作经验年限。以数字形式存储,如果没有明确要求则留空。
  • open_to_nigeria:指示尼日利亚的求职者是否符合申请资格。可能的取值为 yes、no 或 unclear。
  • summary:用一句话描述该职位涉及的内容。

尼日利亚字段是我最关心的。我正在拉各斯找工作,而"远程"通常意味着"远程,但仅限于一个国家"。一个能回答每个开放职位的表格能让我免于逐一阅读每个职位描述。

对于模型,我使用了 Google 免费层级的 Gemini Flash-Lite 模型。我之前曾因账单墙问题受过伤。Google Cloud 要求我预付 30 美元才能从尼日利亚使用 BigQuery,这就是为什么整个项目都运行在 DuckDB 上。一个无需信用卡的免费 API 密钥非常重要。脚本使用 Python 标准库与 API 通信,因此无需安装任何额外内容。

  • 保留职位描述文本。最初,我的 RemoteOK 提取器会丢弃描述内容,因为当时我只需要标题和公司信息。模型无法读取从未接收过的数据,因此第一个改动是在保留字段列表中添加一行,同时在加载器中添加对应的匹配行:

python

code
FIELDS_TO_KEEP = [
"id", "position", "company", "tags", "location",
"salary_min", "salary_max", "url", "date",
"description",  # 完整的职位描述文本;AI 步骤会读取这部分内容
]
  • 要求固定数据结构。API 允许你描述需要返回的精确 JSON 格式,包括允许的值范围。任何超出允许范围的值都属于无效回答。
code
RESPONSE_SCHEMA = {
"type": "OBJECT",
"properties": {
"skills": {"type": "ARRAY", "items": {"type": "STRING"}},
"seniority": {"type": "STRING", "enum": SENIORITY},
"years_experience_min": {"type": "INTEGER", "nullable": True},
"open_to_nigeria": {"type": "STRING", "enum": NIGERIA},
"summary": {"type": "STRING"},
},
}

提示信息还告诉模型,当职位描述未明确说明时,应使用 "unknown" 或 "unclear" 而不是猜测。它告诉模型职位描述是不可信的文本,且绝不能遵循描述中的任何指令。职位描述由陌生人撰写,我不希望某个写着 "忽略你的指令" 的职位拥有任何权力。

  • 永远不要重复处理同一份工作。丰富表与工作表是分开的,且永远不会被替换。每次运行只会选择尚未有答案的工作:

sql

code
SELECT r.id, r.position, r.company, r.description
FROM raw_remoteok_jobs r
LEFT JOIN raw_job_enrichment e ON e.job_id = r.id
WHERE e.job_id IS NULL
AND r.description IS NOT NULL

这保护了免费配额。这也意味着丰富表会保留已关闭职位的答案,这在后续编写 dbt 测试时非常重要。

  • 保存答案前要检查每个答案。模式告诉模型我需要的数据结构。它不会强制模型遵守,我也不希望数据仓库依赖模型的良好行为。因此每个答案都会经过验证函数,无效答案会被跳过并报告,但不会保存:
code
seniority = answer.get("seniority")
if seniority not in SENIORITY:
raise ValueError(f"seniority '{seniority}' is not one of {SENIORITY}")

其余部分是我现在每个项目都会实现的基础设施。每个请求都会在遇到速率限制和网络错误时重试,且重试间隔会逐渐增加。错误的模型名称或耗尽的配额会在第一次请求失败后立即停止整个运行,因为这会导致所有工作都失败。每个工作在回答后会立即保存,因此中途崩溃时不会丢失已完成的工作。

第一次运行和我不信任的 "yes"

我先在三个工作上运行了它,以保护免费配额并查看返回结果。

plaintext

code
[1/3] Associate Data Scientist at AlgaeCal
junior, 4 skills, nigeria: unclear
[2/3] Data Analyst at SEAhub Asia
junior, 5 skills, nigeria: unclear
[3/3] Data Analyst Assistant at Arabian Private Holdings
junior, 0 skills, nigeria: yes

第三行让我感到不安。对于简短的职位描述,零技能是可信的,但阿拉伯私人控股公司对尼日利亚给出的明确 "yes" 看起来像是猜测。

为了验证,我编写了一个小型检查模式,可以将模型的回答与原始职位描述文本并排打印,这样我可以自行判断。然后我在 RemoteOK 网站上查看了这份工作。它的位置写的是迪拜,用阿拉伯语书写。

That's when I found my own bug. The model had never seen the location. My script sent the job title, the company and the posting text, and nothing else. The one field that says where the employer wants people to live was sitting in my database, unused. So two jobs I'd called "unclear" and one "yes" were answers from a model working with less information than I had.

I made two changes.

  • Send the location too. It's a small addition to what the model sees for each job, and the model reads Arabic fine, which a keyword filter wouldn't have.
  • Make the model show its evidence. For any "yes" or "no" about Nigeria, the model has to quote the exact words that support it. Then the script checks that the quote really appears in the location field or the posting, and throws the answer away if it doesn't:
code
if nigeria in ("yes", "no"):
if normalise(evidence) in ("", "none", "n/a"):
raise ValueError(f"said '{nigeria}' for Nigeria but gave no evidence")
if normalise(evidence).strip(".\"' ") not in normalise(source_text):
raise ValueError(f"evidence quote not found in the posting: '{evidence[:80]}'")

This check is deliberately strict. If the model paraphrases instead of copying, a correct answer gets skipped. I'd rather re-run a skipped job than store an answer I can't trace.

I cleared the old answers with a --redo flag and ran the same three jobs again. AlgaeCal and SEAhub Asia both changed from "unclear" to "no." That's what I'd expect now that the model could see where they hire.

The Arabian Private Holdings job stayed "yes," and this is the part I got wrong. From the first part of the posting I'd read, nothing said Nigeria was fine, so I assumed the model was still guessing. Then I saw its evidence line:

text

code
> This remote model allows us to hire individuals based on their intellectual capability rather than their physical location

That sentence was in the part of the posting I hadn't read. The posting explicitly says location doesn't matter, even though the listing says Dubai. The model chose the more explicit signal, and I'd have called that a mistake if I hadn't asked it to show its work. The quote turned a vague worry into a ten-second check, and it also gave me a field I can test in dbt later.

On the full run, 17 of the 18 jobs saved cleanly. The 18th was skipped, and that one wasn't the model's fault.

The skipped job, and the text that was already broken

This is what the skipped job looked like in the output:

code
[14/18] Data Analyst at Haystack
skipped: evidence quote not found in the posting: 'Wien, Wien, Wien, Österreich'

The Ö caught my attention. It should have been Ö , as in Österreich (Austria). Somewhere along the way, the text had been read using the wrong character encoding. UTF-8 bytes had been interpreted as an older Western encoding, leaving behind garbled characters. This is known as mojibake .

At first, I considered whether the model had somehow corrupted the quote. But there was another, more likely explanation: the location stored in my database was already garbled. If that was the case, the model was simply quoting what it had been given, and the quote would fail to match the original text.

I checked the stored location:

code
SELECT id, LENGTH(location) AS len
FROM raw_remoteok_jobs
WHERE company = 'Haystack';

一个干净的维也纳,维也纳,奥地利是28个字符长。我数据库中的值是29。那个多余的字符是另一个提示,说明编码过程中出了问题。

我无法确定数据损坏的确切位置。我的代码以UTF-8格式读取响应,并将文本原样写入数据库。这让我怀疑问题可能源自RemoteOK的数据,但无法确定这一点。

无论问题始于何处,我都希望在数据进入系统的最早阶段就处理它。修复措施应该放在数据进入系统的位置。

我添加了一个函数来逆转编码错误。它将乱码字符转换回原始字节,然后将这些字节以UTF-8格式解码。如果转换失败,它将保留原始文本:

code
def repair_text(value):
    if isinstance(value, list):
        return [repair_text(item) for item in value]
    if not isinstance(value, str) or value.isascii():
        return value
    try:
        raw = bytearray()
        for ch in value:
            try:
                raw += ch.encode("cp1252")
            except UnicodeEncodeError:
                raw += ch.encode("latin-1")
        fixed = bytes(raw).decode("utf-8")
    except (UnicodeEncodeError, UnicodeDecodeError):
        return value
    return fixed

保留原文本的部分很重要。像Österreich这样干净的字符串无法通过转换,因此保持不变。阿拉伯语文本也是如此,因为它们无法用这些旧编码表示。该函数仅修复看起来遭受了这种特定编码错误的文本。

在实际数据上使用之前,我用几个例子测试了它:干净的文本、乱码文本和阿拉伯语文本。我想确保它能纠正问题而不会引入新的问题。

我还让提取器在修复字符串时记录一条消息。这样,修复过程不会悄无声息地发生。应用修复并再次运行流水线后,之前跳过的任务通过了。

有一个副作用值得一提。我的dbt快照跟踪位置列的更改,因此修复后的值显示为更改并被记录为新版本。这是预期的结果。

这不是AI的问题。这是一个数据质量问题,恰好被AI暴露出来。严格的引号检查使不匹配变得可见,而不是让它悄然通过。

让dbt检查AI

脚本在保存答案之前已经检查了每个答案,但出于和我在多扇门上加锁相同的原因,我仍然希望dbt在之后检查表。如果有人修改脚本、以其他方式加载行或手动编辑表,数据仓库仍应拒绝不良数据。

因此,AI的表与其他所有源一样得到了相同的处理。一个暂存模型为它提供了一个干净的名称。然后在它上面创建了两个新表:

  • job_postings_enriched 每个当前开放的职位一行,附有AI的发现。AI尚未读取的职位仍然显示,并标记为未读,因此可以发现空白处而不是悄无声息地缺失。
  • skill_demand 统计每个开放职位要求的技能数量。它将每个职位的技能列表拆分为每行一个技能,然后进行计数。

验证检查涵盖五个方面:

  • 资格等级和尼日利亚资格的允许值:检查模型是否仅使用我定义的类别,而不是发明新的类别。如果返回无效值,流水线将失败。
  • 尼日利亚资格的证据:检查尼日利亚相关问题的每个“是”或“否”回答是否都有来自职位描述的引用支持。如果没有证据,流水线将失败。
  • 有效的技能名称:检查提取的技能是否看起来像真实的工具或技术名称,而非空值、首字母大写的短语或完整句子。如果检查失败,流水线将失败。
  • 乱码字符:检查模型输出中是否存在字符编码错误。如果发现任何乱码,流水线将发出警告。
  • AI提取覆盖率:检查AI步骤是否遗漏了超过20%的开放职位。如果超过该阈值,流水线将发出警告。

以下是完整的证据测试。它遵循了dbt对自定义测试的常规模式:查询返回有问题的行,若返回零行则表示通过。

code
select
job_id,
open_to_nigeria,
'answered ' || open_to_nigeria || ' without evidence' as failure_reason
from {{ ref('stg_job_enrichment') }}
where open_to_nigeria in ('yes', 'no')
and (
nigeria_evidence is null
or trim(nigeria_evidence) = ''
or lower(trim(nigeria_evidence)) in ('none', 'n/a')
)

在选择“失败”或“警告”之间确实需要权衡,但很容易被忽略。虚构的分类意味着数据错误,因此会失败。乱码文本和覆盖率下降意味着某些异常,但流水线仍能生成有用的输出,因此会发出警告并提示人工检查。覆盖率测试是我最喜欢的。如果我的API密钥明天过期,系统不会崩溃,但数据质量会悄悄变差,而这个测试正是用来发现问题的。

我特意省略了一个测试。检查每个AI回答是否属于当前开放的职位很有诱惑力。但丰富表保留了已关闭职位的回答,因此这个测试会因合理原因失败。一个总是误报的测试会让人忽视所有测试。

流水线发现的内容

当所有测试通过后,我终于可以向数据仓库提出一个之前无法回答的问题:这些职位要求哪些技能?

SQL位居榜首,其余技能列表是经典的数据分析师工具包:Power BI、Python、Excel和Tableau。这与我对市场的了解一致,这是一个积极的信号,表明AI正确地解析了职位描述。

当我进一步分析时,有两件事特别突出。

首先,18个职位中没有一个使用“工程师”头衔。这个数据流中全是数据分析师职位,而dbt只在一份职位描述中出现过。因此,如果将这张图表视为“数据工程师需要什么”,那可能不是正确的图表。它只是展示了RemoteOK的数据职位要求,是对输入数据的诚实反映。

其次,我的尼日利亚问题返回了18个职位中唯一的“是”。其余大部分都是“否”,而那个“是”来自之前提到的阿拉伯私人控股公司职位,该职位声明无论物理位置如何都可雇佣。它甚至没有列出任何工具。因此,我在拉各斯可以申请的唯一职位,正是技能图表完全未提及的那个。这是小样本的局限性,也提醒我们,一张整洁的图表可能隐藏着旁边的尴尬事实。

我会做的不同之处和下一步计划

从这次经历中我学到的更多是关于流水线中应养成的习惯,而非AI本身。

  1. 给模型提供所有可用信息。我早期的一些错误源于让模型在信息不完整的情况下做决策。例如,我拥有职位的地点信息,但没有将其传递给模型。
  1. 要求模型展示其证据,然后通过代码进行验证。简单的“是”需要我完全信任模型的说法。而支持性引用则提供了可以与原始职位描述进行核对的依据。
  1. 在两个阶段进行验证。Python脚本在数据到达数据库前进行检查,而dbt则在之后执行另一组检查。我不希望只依赖单一层次的验证。
  1. 明确界定哪些情况应停止流程,哪些情况应触发警告。无效数据应直接停止流程,可疑数据应触发警告并在必要时由人工审核。
  1. 当模型出现错误时,不要立即假设模型本身一定存在问题。在我的案例中,跳过的职位并非AI故障。严格的证据检查只是揭示了源数据中已存在的编码问题。

如果我要重新构建这个系统,我也会记录每个答案集对应的提示词。我使用--redo标志在修改提示词时清除已有答案。虽然这有效,但也意味着会丢失旧版本的结果。回顾来看,保留历史记录会更便于比较不同提示词并理解每个修改对输出的影响。

当前最大的限制是数据集的规模。十八个职位描述只是一个小型样本,因此不能据此推断整个就业市场的状况。随着管道每天运行,职位表会不断增长,dbt将通过快照跟踪变化,增强数据将开始揭示更多关于技能需求、新职位和关闭职位的有用模式。

这就是我接下来想解决的问题。到目前为止,我一直在手动运行所有操作,这也是为什么管道中只有十八个职位的原因。在下一篇文章中,我将引入Apache Airflow来协调整个工作流程。提取器、AI增强、dbt运行、测试和快照将按正确顺序每天自动执行,无需我手动触发每一步。

这是我在持续记录从系统分析师向数据工程师转型系列文章的一部分。如果你一直在关注,感谢你的支持。如果你是第一次阅读本系列文章,早期文章的链接在上方。

通过LinkedIn、YouTube和Twitter与我联系。