今天分享的是 大模型专题系列 深度研究报告：《 大模型专题：大语言模型应用程序十大风险V1.0 》

（报告出品方： OWASP ）

报告共计： 14页

前言

《OWASP 大语言模型应用程序十大风险》项目旨在向开发人员、设计人员、架构师、管理人员和组织介绍部署和管理大语言模型(LLM)应用程序时的潜在安全风险。该项目主要基于漏洞的在影响，可利用性以及在实际应用程序中的普遍性，整理出包括提示注入、数据泄漏、沙盒不足和未经授权的代码执行等 LLM 应用程序中常见的 10 大最关键风险的列表。

本项目旨在提高对这些风险以及相关漏洞的认识，提供修正策略的建议，并最终改善 LLM 应用程序的安全状况。

描述

提示词注入包括绕过过滤器或者通过精心构造的提示词来操控大语言模型(LLM)使得该模型忽略先前的指令或者执行意外操作。这些漏洞导致数据泄漏、未经授权的访问或者其他安全洞等意想不到的后果。

常见提示词注入漏洞

精心构造能够操纵大语言模型以暴露敏感数据的提示词。

利用特定的语言模式或者词元来绕过过滤器或者限制。

利用大语言模型的分词或者编码机制的弱点。

利用误导性上下文来误导大语言模型执行意外操作。

如何防范

对用户提供的提示词进行严格的输入校验和净化。

使用上下文感知过滤器和输出编码来防止提示词操作。

定期更新和微调大语吉模型以提高其对于恶意输入和边界用例的理解能力。

监视和记录大语言模型的交互以检测和分析潜在的提示词注入尝试。

攻击场景示例

场景 1

攻击者精心构造一个提示词发起请求，并让模型认为该请求是合法的，从而欺骗大语言模型包括用户凭证或者内部系统详细信息等敏感信息。

场景 2

恶意用户通过利用特定的语言模式、词元或者编码机制来绕过内容过滤器，从而允许该用户执行那些本应被阻止的操作。