Language Model Hallucination Evaluation with GraphEval

!pip install -q transformers networkx matplotlib torch

# 提供给LLM的真实上下文
source_context = (
    "GraphEval是一个基于知识图谱（KG）结构表示信息的幻觉评估框架。"
    "它作为预处理步骤，利用现成的自然语言推理（NLI）模型检测事实不一致性。"
)

# 我们想要评估的生成响应（包含幻觉）
llm_output = (
    "GraphEval是一个使用知识图谱的评估框架。"
    "它需要昂贵的高端企业级服务器集群才能运行。"
)

# 理论上会传递给本地/免费LLM（如Mistral-7B）的提示模板
KG_EXTRACTION_PROMPT = f"""
你是一位专业信息提取专家。请将以下文本的核心信息提取为知识图谱。
严格以Python元组列表格式返回结果：(主体, 关系, 客体)。

文本: {llm_output}
"""

# 模拟提取以避免本地运行大型LLM的高计算成本
extracted_triples = [
    ("GraphEval", "是", "评估框架"),
    ("GraphEval", "使用", "知识图谱"),
    ("GraphEval", "需要", "昂贵的企业级服务器集群")
]

print("提取的三元组：")
for t in extracted_triples:
    print(t)

提取的三元组：
('GraphEval', '是', '评估框架')
('GraphEval', '使用', '知识图谱')
('GraphEval', '需要', '昂贵的企业级服务器集群')

from transformers import pipeline

# 加载开源NLI模型
print("正在加载DeBERTa NLI模型..")
nli_evaluator = pipeline("text-classification", model="cross-encoder/nli-deberta-v3-small")

def evaluate_triple(context, triple):
    subject, relation, obj = triple
    hypothesis = f"{subject} {relation} {obj}"

    # 检查上下文是否蕴含假设
    result = nli_evaluator({"text": context, "text_pair": hypothesis})

    # NLI模型通常输出: 'entailment', 'neutral', 或 'contradiction'
    label = result['label'].lower()

    # 在GraphEval中，任何非'entailment'的结果都会被标记为幻觉
    is_hallucinated = label != 'entailment'

    return is_hallucinated, label, hypothesis

# 运行评估流程
evaluation_results = []

print("\n--- GraphEval 结果 ---")
for t in extracted_triples:
    is_hallucinated, nli_label, hypothesis = evaluate_triple(source_context, t)
    evaluation_results.append((is_hallucinated, nli_label))

    status = "🚨 幻觉" if is_hallucinated else "✅ 有效"
    print(f"{status} | 三元组: {t} | NLI 输出: {nli_label}")

--- GraphEval 结果 ---
✅ 有效 | 三元组: ('GraphEval', '是', '评估框架') | NLI 输出: entailment
✅ 有效 | 三元组: ('GraphEval', '使用', '知识图谱') | NLI 输出: entailment
🚨 幻觉 | 三元组: ('GraphEval', '需要', '昂贵的企业级服务器集群') | NLI 输出: neutral

import networkx as nx
import matplotlib.pyplot as plt
import matplotlib.patches as mpatches

def visualize_grapheval(triples, eval_results):
    G = nx.DiGraph()
    edge_colors = []

    for (triple, res) in zip(triples, eval_results):
        sub, rel, obj = triple
        is_hallucinated = res[0]

        G.add_node(sub)
        G.add_node(obj)
        G.add_edge(sub, obj, label=rel)

        # 根据NLI评估结果对边进行颜色编码
        edge_colors.append('red' if is_hallucinated else 'green')

    # 设置画布
    plt.figure(figsize=(10, 6))
    pos = nx.spring_layout(G, seed=42)

    # 绘制节点
    nx.draw_networkx_nodes(G, pos, node_color='lightblue', node_size=2500)
    nx.draw_networkx_labels(G, pos, font_size=10, font_weight='bold')

    # 绘制边和标签
    nx.draw_networkx_edges(G, pos, edge_color=edge_colors, width=2.5, arrowsize=20)
    edge_labels = nx.get_edge_attributes(G, 'label')
    nx.draw_networkx_edge_labels(G, pos, edge_labels=edge_labels, font_color='black')

    # 添加图例
    green_patch = mpatches.Patch(color='green', label='有效（蕴含）')
    red_patch = mpatches.Patch(color='red', label='幻觉（中性/矛盾）')
    plt.legend(handles=[green_patch, red_patch], loc='lower right')

    plt.title("GraphEval 幻觉图谱", fontsize=14, fontweight='bold')
    plt.axis('off')
    plt.tight_layout()
    plt.show()

# 渲染知识图谱
visualize_grapheval(extracted_triples, evaluation_results)