摘要

大型语言模型 （LLM） 已成为增强自然语言理解的变革性力量，代表着向通用人工智能迈出了重大一步。法学硕士的应用超越了传统的语言界限，包括在各种科学学科内开发的专业语言系统。这种日益增长的兴趣导致了科学 LLM 的出现，这是一个专为促进科学发现而设计的新颖子类。作为 AI for Science 社区中的一个新兴领域，科学 LLM 值得全面探索。然而，目前缺乏介绍它们的系统和最新的调查。在本文中，我们努力有条不紊地描述 “科学语言” 的概念，同时对科学 LLM 的最新进展进行了全面回顾。鉴于科学学科的广泛领域，我们的分析采用聚焦镜头，专注于生物和化学领域。这包括对 LLM 的文本知识、小分子、大分子蛋白质、基因组序列及其组合的深入研究，从模型架构、功能、数据集和评估方面对其进行分析。最后，我们批判性地审视了普遍面临的挑战，并指出了有前途的研究方向以及 LLM 的进展。通过提供该领域技术发展的全面概述，该调查旨在成为研究人员在错综复杂的科学 LLM 环境中导航的宝贵资源。

https://arxiv.org/abs/2401.14656

核心速览

研究背景

1. 研究问题 ：这篇文章要解决的问题是如何有效地利用大型语言模型（LLMs）来理解和生成科学领域的文本，特别是生物和化学领域的数据。

2. 研究难点 ：该问题的研究难点包括：科学语言的多样性和复杂性，现有通用LLMs在处理科学数据时的局限性，以及科学领域知识的广泛性和深度。

3. 相关工作 ：该问题的研究相关工作包括自然语言处理（NLP）领域的LLMs，如GPT系列模型，以及专门为科学领域设计的LLMs，如BioMedLM、GatorTron等。

研究方法

这篇论文提出了科学大型语言模型（Sci-LLMs），用于解决科学领域文本理解的问题。具体来说，

1. 模型架构 ：首先，论文将Sci-LLMs分为三类：编码器模型（Encoder-only）、解码器模型（Decoder-only）和编码器-解码器模型（Encoder-Decoder）。编码器模型专注于输入数据的表示，解码器模型专注于生成输出数据，而编码器-解码器模型则结合了编码和解码的功能。
   

   

   
   

2. 预训练和微调 ：Sci-LLMs的训练通常分为两个阶段：预训练和微调。预训练阶段，模型在大规模文本数据上进行无监督学习，学习科学术语和概念。微调阶段，模型使用特定任务的数据集进行有监督学习，以适应特定任务的需求。

3. 评估标准 ：为了评估Sci-LLMs的性能，论文采用了多种评估指标，包括准确率、精确率、召回率和F1分数等。对于生成任务，还使用了BLEU、ROUGE和BERT分数等指标。

实验设计

1. 数据收集 ：论文收集了多个大规模的科学数据集，包括PubMed、PubChem、UniProt等，用于预训练和微调Sci-LLMs。这些数据集包含了大量的科学文献、化合物信息、蛋白质序列和基因组数据。

2. 实验设计 ：实验设计包括预训练、微调和评估三个阶段。预训练阶段，模型在大量科学文本数据上进行无监督学习；微调阶段，模型使用特定任务的数据集进行有监督学习；评估阶段，模型通过各种评估指标进行性能测试。

3. 样本选择 ：样本选择基于数据集的多样性和代表性，确保模型能够泛化到各种科学领域和任务。

4. 参数配置 ：模型的参数配置根据具体任务和数据集进行调整，以优化模型的性能。

结果与分析

1. 文本Sci-LLMs ：文本Sci-LLMs在医学、生物学、化学和综合科学领域表现出色，能够理解和生成科学文本。预训练数据集的选择和微调任务的设置对模型性能有显著影响。
   

   

   
   

2. 分子Sci-LLMs ：分子Sci-LLMs在分子属性预测、反应预测和分子生成任务中表现优异。模型能够通过文本描述生成分子结构，并通过分子结构生成文本描述。
   

   

   
   

3. 蛋白质Sci-LLMs ：蛋白质Sci-LLMs在蛋白质功能预测、序列生成和结构预测任务中表现出色。模型能够通过文本描述生成蛋白质序列，并通过蛋白质序列生成文本描述。
   

   

   
   

4. 基因组Sci-LLMs ：基因组Sci-LLMs在基因功能预测、结构预测和序列生成任务中表现出色。模型能够通过文本描述生成基因组序列，并通过基因组序列生成文本描述。
   

   

   
   

5. 多模态Sci-LLMs ：多模态Sci-LLMs在跨模态预测、检索和生成任务中表现出色。模型能够处理文本、分子、蛋白质和基因组数据，实现跨模态的信息交互和生成。
   

   

   
   

总体结论

这篇论文系统综述了科学大型语言模型（Sci-LLMs）在生物和化学领域的最新进展，提出了多种模型架构和训练方法，并展示了其在各种科学任务中的优异表现。论文的贡献包括：

1. 提供了科学领域语言建模的综合概述，涵盖了文本、分子、蛋白质和基因组语言。

2. 详细总结了现有的Sci-LLMs，包括模型架构、能力、训练数据和评估基准。

3. 提出了未来研究的方向，包括构建更大规模、更高质量的跨模态训练数据集，将3D立体时空信息融入科学语言系统，以及与外部知识源和物理模拟的交互。

4. 开发了计算评估指标和基准，以促进模型的开发和应用。

5. 强调了与人类伦理超级对齐的重要性，确保Sci-LLMs的应用符合伦理规范。

论文评价

优点与创新

1. 全面性 ：论文系统地回顾了科学大型语言模型（Sci-LLMs）在生物和化学领域的最新进展，涵盖了文本、分子、蛋白质和基因组语言模型，并探讨了多模态科学大型语言模型。

2. 详细分类 ：将Sci-LLMs分为编码器-解码器、解码器和编码器-解码器三类，并对每类模型进行了详细的分析。

3. 数据集和资源 ：提供了丰富的数据集和资源列表，包括预训练数据集和基准测试数据集，方便研究者和新手访问和使用。

4. 评估标准 ：提出了科学的评估框架，根据科学知识的不同复杂程度进行分类，包括小学、中学和大学水平。

5. 多模态模型 ：首次全面探讨了多模态科学大型语言模型，分析了它们在整合不同类型科学语言方面的能力。

6. 开源资源 ：将相关资源开源，并提供了详细的文档和代码链接，促进了社区的合作和交流。

不足与反思

1. 训练数据 ：预训练数据集规模有限，特别是对于蛋白质语言模型，训练数据量相对较小。

2. 数据集质量 ：细调数据集的质量参差不齐，缺乏大规模、高质量且跨模态的数据集。

3. 架构和学习目标 ：现有的Transformer架构可能不适合处理科学语言的长期依赖性和三维结构信息。自回归学习目标在生物学和化学语言中可能不适用。

4. 模型评估 ：缺乏有效的计算评估指标和基准测试系统，特别是在生成任务中，自动化评估方法的可靠性有待提高。

5. 伦理问题 ：数据隐私和同意问题、信息误用风险、算法决策的偏见以及公平性问题是开发和应用Sci-LLMs时需要解决的关键伦理问题。

关键问题及回答

问题1：Sci-LLMs在处理科学语言时面临的主要挑战有哪些？

1. 数据规模和质量问题 ：Sci-LLMs需要大规模、高质量的训练数据，但现有的科学数据集往往规模较小且标注质量参差不齐。例如，分子和蛋白质数据的标注成本高昂，且数据分布不均衡。

2. 模型架构和学习目标的适应性 ：传统的Transformer架构在处理长序列和三维结构信息时存在局限性。Sci-LLMs需要适应科学语言的特殊性，如双向上下文建模和显式的三维结构信息的整合。

3. 跨模态数据的对齐 ：在多模态Sci-LLMs中，确保不同模态之间的语义一致性是一个挑战。例如，文本和分子结构之间的对齐需要考虑化学键和原子间的空间关系。

4. 计算资源和效率 ：处理大规模科学数据需要大量的计算资源，特别是在预训练阶段。高效的模型架构和优化算法是必要的。

5. 伦理和隐私问题 ：处理敏感的生物数据时，数据隐私和伦理问题是不可忽视的挑战。确保数据的匿名化和合规性是开发可靠Sci-LLMs的关键。

问题2：在分子大型语言模型（Mol-LLMs）中，哪些模型在特定任务上表现出色？

1. ChemBERTa ：ChemBERTa是一个基于BERT的预训练模型，专门用于分子属性预测。它在多个化学性质预测任务上表现出色，具有高效的特征提取能力。

2. MolBERT ：MolBERT是一个基于BERT的分子表示学习模型，通过整合SMILES等价性和物理化学性质预测任务，显著提升了虚拟筛选和QSAR基准测试中的性能。

3. Retrosynthesis Transformer ：Retrosynthesis Transformer是一个用于化学反应预测的模型，采用了位置编码矩阵来处理字符串元素之间的距离问题，提升了反应预测的准确性。

4. Text2Mol ：Text2Mol是一个跨模态分子检索模型，通过建立文本和分子结构数据对之间的语义空间，实现了高效的分子检索功能。

5. DrugChat ：DrugChat是一个基于GPT的分子对话模型，结合了图神经网络和Vicuna模型，能够在药物分子图上实现类似ChatGPT的对话能力。

问题3：在蛋白质大型语言模型（Prot-LLMs）中，哪些模型在蛋白质功能预测方面表现出色？

1. ESM-1b