2024 || 探索大型语言模型在图生成中的潜力

1. 基本信息和摘要

「论文题目」 : 探索大型语言模型在图生成中的潜力

「作者」 : Yang Yao, Xin Wang, Zeyang Zhang, Yijian Qin, Ziwei Zhang, Xu Chu, Yuekui Yang, Wenwu Zhu, Hong Mei

「作者研究单位」 :

1. Tsinghua University
2. Peking University

「摘要」 : 近期的研究工作探索了大型语言模型（LLMs）在图判别任务如节点分类中的应用。然而，LLMs在图生成方面的能力尚未得到充分研究。图生成要求LLM根据给定属性生成图，这在药物发现等领域具有重要实际应用，但同时也更具挑战性。本文提出了LLM4GraphGen，旨在通过系统化的任务设计和广泛的实验来探索LLMs进行图生成的能力。具体而言，作者提出了几个任务，并进行了全面实验，以解决关于LLMs理解不同图结构规则、捕获结构类型分布以及利用领域知识进行基于属性的图生成的关键问题。评估结果表明，特别是GPT-4这样的LLMs，在包括基于规则和基于分布的生成任务中表现出初步的图生成能力。同时，观察到流行的提示方法，如小样本和思维链提示，并不总是一致地提升性能。此外，LLMs在生成具有特定属性的分子方面展现出潜力。这些发现为设计基于LLMs的图生成模型提供了基础，并为未来的研究提供了有价值的见解。

2. 介绍

图生成作为近年来研究的热点领域，在药物发现等领域具有重要意义。尽管深度生成模型在分子生成等图生成任务中取得了令人瞩目的成果，但大多数现有方法主要关注从现有图中学习图分布，忽略了实际应用中的复杂而丰富的领域知识。本文首次系统地探索了LLMs在图生成任务中的能力，通过提出包括基于规则的生成、基于分布的生成和基于属性的生成等多种任务。作者的发现为未来图生成领域的研究开辟了新的途径，同时突显了LLMs在图生成任务中的不断进化的能力和存在的局限性。

3. 方法

提出方法的原因

LLMs在理解和生成文本方面的能力已经得到了广泛的认可和研究，但其在图结构数据上的应用仍然是一个相对未被探索的领域。图生成任务要求模型能够根据一系列规则或者分布生成满足特定属性的图，这对于LLMs来说是一个全新的挑战。

具体方法描述

本文提出的LLM4GraphGen框架设计了三种类型的图生成任务，包括基于规则的图生成、基于分布的图生成和基于属性的图生成。

• 「基于规则的图生成」 : 通过自然语言描述各种图的结构（例如树或循环），并评估模型生成的图是否符合这些规则。
• 「基于分布的图生成」 : 学习给定图的分布，然后基于这些分布生成新的图。
• 「基于属性的图生成」 : 生成具有特定属性的图，例如在药物发现中具有特定药效的分子结构。

相关公式

• 对于基于规则的生成，可以通过定义一系列规则 来描述所需生成的图的结构，然后评估生成的图 是否满足这些规则： 。
• 对于基于分布的生成，定义目标图分布 ，并从该分布中生成图集合 ，模型需要从给定的图集合中推断出分布参数，并生成新的图集合。
• 对于基于属性的生成，定义属性预测器 ，用于评估生成的图 是否具有所需的属性 。

4. 实验发现

图生成任务的评估

作者通过设计多个实验来评估LLMs在不同图生成任务上的性能。实验结果表明，GPT-4在基于规则和基于分布的图生成任务上表现出了一定的能力。例如，在生成树形结构的图的任务中，GPT-4在不同提示方法下的有效性（Valid rate）和独特性（Unique rate）如下表所示：

图生成任务的图表分析

Figure 1: 概述了LLM4GraphGen的方法。作者为每种图生成任务设计了定制的提示，这些提示随后被用作LLM的输入以生成所需的图。每个提示都包括任务描述和所需的输出格式。在基于规则的生成中，提示包含规则的描述。对于基于分布的生成，提供了一组图以帮助LLM学习底层分布。对于基于属性的生成，包括了一组分子以使LLM理解分子属性。

5. 结论

本文探索了大型语言模型（LLMs）在图生成任务中的潜力，特别是GPT-4在包括基于规则和基于分布的生成任务中表现出初步的图生成能力。此外，作者发现流行的提示方法，如小样本和思维链提示，并不总是一致地提升性能。LLMs在生成具有特定属性的分子方面展现出潜力，这些发现为未来图生成领域的研究提供了新的途径。作者强调，尽管LLMs在图生成方面取得了一定的进展，但仍有许多挑战需要克服，未来的研究需要进一步探索和改进LLMs在这一领域的应用。

附录：具体方法描述

3.1 基于规则的图生成

本文利用自然语言规则来描述各种图的结构，例如作为一棵树（Tree）或一个循环（Cycle），并通过生成的图对这些规则的遵从程度来评估模型。为了评估LLMs理解和遵循图生成指令的能力，本文制定了以下8条规则：

• 「树」 : 生成的图应该是一棵具有指定节点数的树，即任意两个节点之间只有一条路径的无向图。
• 「循环」 : 生成的图应该包含一个具有指定节点数的循环，并且不应该包含任何其他节点或边。
• 「平面图」 : 生成的图应该是一个具有指定节点数和边数的平面图，即存在一种在平面上绘制图的方式而没有边交叉。
• 「连通分量」 : 生成的图应该具有指定数量的连通分量，即必须有指定数量的连通子图，且它们之间没有边。
• 「k-正则图」 : 生成图的每个节点应该有相同数量的邻居，即每个节点的度数为k。
• 「轮图」 : 生成的图应该通过将一个节点连接到一个循环的所有节点来形成。
• 「二分图」 : 生成的图的节点应该分为两个不相交且独立的集合U和V，具有指定的大小。
• 「k-可着色图」 : 生成的图应该是k-可着色的，即每个节点分配一个颜色，并且两个相邻节点没有相同的颜色。

「提示设计」 :

• 「零样本」 : 提示包含关于规则的相关信息，以及输出格式的规范。然后要求模型使用给定的规则生成图。
• 「少样本」 : 除了零样本提示，还给模型几个遵循给定规则的图示例。图的边按节点ID排序，以促进模型理解。
• 「零样本+CoT/少样本+CoT」 : 除了零样本提示和少样本提示，还要求模型逐步给出答案。

3.2 基于分布的图生成

从给定的图中学习分布，然后根据分布生成新的图是图生成的必要能力。为此，本文提出了基于分布的图生成任务，定义了目标图分布和从目标分布生成的图集合 作为模型的输入。模型应该从给定的图推断目标分布的参数，并从相同的分布生成新的图。本文设计了几个难度递增的子任务，包括tree-or-cycles的生成、components的union和motifs。

• 「树或循环」 : 在这个子任务中，目标分布被定义为树和循环的混合，其中每个图以概率 是一棵树，以 是一个循环，

  具体地，给模型10个从目标分布采样的图，要求它从图中推断 的值，然后生成10个新的图，遵循相同的分布。本文用不同的 设置评估任务，所有输入图都有5到7个随机数量的节点。

• 「Components的Union」 : 在这个子任务中，目标分布中的每个图都是两个连通分量的并集，每个分量要么是一棵树，要么是一个循环。两个分量属于同一类型的概率为 ，属于不同类型的概率为 ，即