论文：Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

作者：Linhao Luo, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan

发表：ICLR 2024

大型语言模型（LLM）在复杂的任务中表现出令人印象深刻的推理能力。然而，它们在推理过程中缺乏最新的知识，并且存在幻觉现象，这可能导致推理过程不正确，并降低性能和可信度。知识图谱（KG）以结构化格式捕获大量事实，为推理提供了可靠的知识来源。然而，现有的基于 KG 的 LLM 推理方法仅将 KG 视为事实知识库，忽视了它们对推理的结构信息的重要性。在这篇论文中，我们提出了一种名为推理图（RoG）的新方法，它将 LLM 与 KG 协同作用，以实现忠实和可解释的推理。RoG 不仅从 KG 中提取知识，通过训练提高 LLM 的推理能力，而且在推理过程中允许与任意 LLM 无缝集成。

研究背景

KG enhanced LLM

尽管 LLM 能力出色，但 LLM 经常在知识密集型任务上遇到挑战，常见的问题有输出幻觉内容和知识实时性低。

幻觉（Hallucination）：在生成事实文本时，生成的信息与现有来源相冲突（内在幻觉）或无法通过现有来源验证（外在幻觉）。 幻觉在现有的 LLM 中广泛存在，甚至包括 GPT-4 等最优秀的 LLM。本质上，LLM 似乎是“无意识地”在解决任务的过程中利用这些知识，缺乏对使用内部或外部知识精准控制的能力。为了缓解这个问题，现有的工作广泛使用了对齐调整策略（RLHF）。

知识实时性：对于需要使用比训练数据更新的知识的任务时，LLM 在解决这些任务时会遇到困难。为了解决这个问题，一个直接的方法是定期用新数据更新 LLM 的知识。然而，微调 LLM 的成本非常昂贵的，而且增量训练 LLM 非常可能导致灾难性遗忘问题。

可以通过引入外部知识的方式来缓解幻觉现象，并且引入新知识。一般来说，知识增强方法可以扩展到引入结构化数据，例如知识图谱、表格和数据库，我们的讨论关注于整合知识图谱来增强 LLM 。

知识图谱（KG）以三元组形式 (头实体，关系，尾实体) 存储了大量知识。现有的KGs可以分为 4 类：

  1. 百科 KG: Wikidata、Freebase 等典型的百科全书式知识图谱。
  2. 常识 KG: ConceptNet 包含了广泛的常识性概念和关系，可以帮助计算机理解人们使用的单词的含义。
  3. 领域特定 KG: UMLS 是医学领域中的特定领域知识图谱，它包含生物医学概念及其关系。
  4. 多模态 KG: IMGpedia、MMKG 和 Richpedia 将文本和图像信息合并到知识图谱中。这些知识图谱可用于各种多模态任务，如图像文本匹配、视觉问答和推荐。

image-20231209204143106

使用知识图谱提供精确的结构化的知识来提高 LLM 输出结果的质量，这类方法称为 KG enhanced LLM。现有增强方式可以划分为两类，即分别是在训练过程中注入知识和在推理过程中注入知识。

  1. 训练过程中注入知识

    ERNIE 提出了一种文本知识双编码器架构其中 T-encoder 首先对输入句子进行编码，然后 K-encoder 处理知识图。ERNIE 将文本中提到的句子和相应实体输入 LLM，然后训练 LLM 预测文本标记和知识图谱中实体之间的对齐链接。

    image-20231209210514036

  1. 推理过程中注入知识（冻结 LLM 参数）

    LMExplainer 基于 LLM 、GNN 和 KG 构建模型。抽取问题和答案中的实体，在 KG 中检索相关实体，构建子图。使用 GCN 和 GAT 依次处理子图节点表征，GAT 的输出结合源问答文本的嵌入表征通过 MLP 做答案预测。

    image-20231205160436958

主要工作

Framework

该论文提出了一种称为 RoG 的新颖方法，旨在协调 LLM 与 KG，将 KG 中的知识蒸馏进入 LLM 。从而输出可信且可解释的推理。 该方法的框架包含两部分: planning 和 retrieval-reasoning。

RoG 首先基于 KG 生成若干个关系路径作为可信的计划。 这些计划是从知识图谱中收集的关系序列，作为推理任务的蓝图。

image-20231209214412468

表示“Alice”与“Bob”结婚，“Bob”是“Charlie”的父亲。

下一步是检索和推理，其中先前生成的路径用于从知识图谱中检索有效的推理链。 这些链条指导 LLM 忠实地输出推理结果和步骤。

image-20231209214543633

简而言之，将 RoG 表述为一个优化问题，旨在通过生成关系路径 z 作为计划，最大化从知识图谱 G 与问题 q 推理答案出正确答案 a 的概率：

image-20231209215324610

其中 θ 表示 LLM 的参数，z 表示 LLM 生成的关系路径（计划），$\mathcal{Z}$ 表示可能的关系路径的集合。

Optimization

尽管按照计划生成关系路径具有明显优势，但 LLM 并不了解知识图谱中包含的关系。因此，LLM 不能直接生成关系路径。此外， LLM 可能无法正确理解推理路径并据此进行推理。为了解决这些问题，作者设计了两个指令微调任务：

1）planning optimization，将知识图谱中的知识蒸馏进入 LLM，从而可以生成可信的关系路径；

2）retrieval-reasoning optimization，使 LLM 能够根据检索到的推理路径进行推理。

通过最大化置信下界 (ELBO) 优化原等式。

image-20231209215826151

Q(z) 表示基于 KG 的可信关系路径的后验分布。

后一项最小化了后验和先验之间的 KL 散度，这鼓励 LLM 生成忠实的关系路径（planning optimization）。前一项最大化了检索推理模块根据关系路径和 KG 生成正确答案的期望（retrieval-reasoning optimization）。

planning optimization

通过最小化 KL 散度实现将知识图谱中的知识蒸馏进入 LLM。

给定问题 q 和答案 a，我们可以在 KG 中找到连接二者的路径实例 $w_z(e_q, e_a) = e_q \xrightarrow{r_1} e_1 \xrightarrow{r_2} …\xrightarrow{r_l} e_a$ ，相应的关系路径为 $z = {r_1, r_2, . . . , r_l}$ 。后验分布可以近似表示为：

image-20231209220145689

因此可以 KL 散度的计算可以简化为：

image-20231209220152604

问题与 prompt template 一起输入 LLM 以生成关系路径 z。

image-20231209221946267

retrieval-reasoning optimization

尽管我们可以利用检索到的推理路径并通过多数投票直接获得答案。但是，检索到的推理路径可能充满噪音并且与问题无关，从而导致错误的答案。因此，我们提出了一个推理模块来探索 LLM 识别重要推理路径并据此回答问题的能力。

旨在使 LLM 能够根据检索到的推理路径进行推理。对于该模块，允许在多个检索推理路径上进行推理，表示为

image-20231209221359360

因此损失函数可以表示为：

image-20231209221409567

RoG 的最终目标函数是两个损失函数的结合，可以表示为：

image-20231209221415348

基于计划模块输出的关系路径，在 KG 中检索得到路径实例 $w_z$。然后，推理模块根据问题 q 和路径实例 $w_z$ 来推理生成答案a。

image-20231209222237062

实验

数据集

两个benchmark KGQA 数据集：WebQuestionSP (WebQSP) 和 Complex WebQuestion（CWQ）。Freebase 是这两个数据集的背景知识图谱，包含大约 8800 万个实体、20000 个关系和 1.26 亿个三元组。

image-20231210150116617

部署

LLaMA2-Chat-7B 作为 LLM 主干，在 WebQSP 和 CWQ 以及 Freebase 的训练分割上进行了 3 个 epochs 的指令微调。使用 beam-search 为每个问题生成 3 个关系路径。在 2 块 A100-80G GPU 上进行 38 小时的训练。

结果

RoG 输出样例。

image-20231209214927719

该方法在两个数据集的大多数指标上实现了 SOTA。

image-20231210153519386

Embedding: 基于 Embedding 方法将实体和关系嵌入表征空间，并设计特殊的模型架构来推理答案。

Retrieval: 从知识图谱中检索相关事实以提高推理性能。

Semantic Parsing: 将问题解析为结构查询（例如 SQL），查询引擎可以执行该查询来获取答案。

LLMs: zero-shot

消融实验。

image-20231210151434572

评估在推理过程中将 RoG 的 planning 模块与不同的 LLM 集成以提高其性能的有效性。具体来说，首先采用 RoG的 planning 模块来生成关系路径，并将检索到的推理路径实例作为上下文输入到不同的LLM中进行推理。

image-20231210151910967

结论

Synergy-Augmented LLM——为了解决复杂的任务（例如，多跳问答），通常需要 LLM 按照系统的解决方案多次查询知识图谱。这个过程中，LLM 可以被视为一个 Agent ，它通过与 KG 环境的交互自动生成计划并执行。

基于指令微调将来自 KG 的外部知识蒸馏进入模型的参数。提高了推理的准确性，而且使得整个过程变得可解释。

相较于之前的 KG 增强的 LLM 方法，该模型在数学角度上，具备一定的可解释性。

RoG 的 planning 模块可以与任何 LLM 无缝集成，使其灵活且适用范围广泛。

基于训练的方式可能会导致灾难性遗忘。

参考文献

  1. REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING
  2. Unifying Large Language Models and Knowledge Graphs: A Roadmap
  3. ERNIE: Enhanced language representation with informative entities
  4. LMExplainer: a Knowledge-Enhanced Explainer for Language Models

Questions & Discussion： ✉️ zjuvis@cad.zju.edu.cn