大模型时代，企业安全建设如何升级？安全人员饭碗不保了吗？

如今 AI 大模型可以处理大量的安全数据，通过模式识别和数据挖掘技术，发现潜在的威胁，提供实时威胁情报分析，帮助安全团队快速响应。然而，大模型也带来了新的风险和挑战。例如，生成式人工智能大模型的数据训练和部署应用可能产生有害内容、泄露敏感数据、生成错误信息、滥用实施违法活动等风险。

大模型时代，企业安全建设应该如何做？企业应如何建立完善的合规框架和监管机制？日前 InfoQ《极客有约》X QCon 直播栏目特别邀请了百度杰出架构师 & 安全技术委员会主席包沉浮与雾帜智能联合创始人 &CTO 傅奎，在 QCon 全球软件开发大会 2024 上海站即将召开之际，针对上述问题展开讨论。

部分精彩观点如下：

• 机器负责推荐决策，人类负责最终决策。

• 要对大模型本身的安全性怀有敬畏之心。

• 只要技术存在，安全问题就会一直存在。

• 程序员真的把自己干得挺狠的。

• 短期内，人类在安全领域的作用仍然是不可或缺的。

在 10 月 18-19 日将于上海举办的 QCon 全球软件开发大会 上，我们特别设置了【 探索安全边界：出海合规与大模型实践 】专题，一方面，交流企业出海过程中的合规要求，帮助企业建立有效的合规体系；另一方面，探讨如何利用大模型技术优化安全解决方案。

在该专题论坛中，百度的包沉浮老师将分享《 百度基于大模型安全运营的质效提升实践 》；雾帜智能的傅奎老师将分享《 安全大模型的最后一公里实践：智能决策与自动响应 》。查看大会日程解锁更多精彩内容： https://qcon.infoq.cn/2024/shanghai/schedule

以下内容基于直播速记整理，经过不改变原意的编辑。
直播完整回放视频参看：
https://www.infoq.cn/video/Wdw39NAeqorh0wkldTsY

包沉浮： 百度目前正全力投入大模型的研发，尤其是 AI 原生应用的发展。自去年起，我们便开始尝试利用 AI 技术对各个产品线进行重构，积极地将大模型应用于基础安全、数据安全、业务风控等多个层面。

在基础安全方面，我们的安全运营团队已经开始使用大模型来处理告警研判、生成运营报告以及提供智能问答服务。此外，还利用大模型进行代码安全方面的工作，包括代码漏洞的修复以及调研和邮件检测的自动化生成。在数据安全领域，我们通过大模型实现数据的分类分级，以及辅助隐私保护和合规性检查。而在业务风控方面，我们针对移动安全领域进行 APP 立项分析的辅助工作，同时在内容风控场景中，我们实现了在线内容检测过滤以及离线内容分析等功能，大模型的应用场景非常广泛。

包沉浮： 传统 AI 在安全应用中存在一个主要问题，即其可解释性较弱。即便技术指标达到 99%，对于那 1% 的漏判或误判，往往难以解释，这直接影响了组织对其的信任，从而影响实际应用效果。相比之下，大模型具备了一定的可解释性。尽管其规模庞大，常被视为黑盒，但生成式 AI 的特性使得我们能够生成大量内容，这种生成过程本身提供了表象上的可解释性，进而增强了安全团队对结果的信任。

在百度的安全团队中，我们像一个乙方，主要通过 AI 技术赋能安全运营流程。部署机器学习或深度学习模型时，能够展示我的判断依据，这种透明度增强了安全运营团队对我的信任。我对大模型在安全领域的应用也充满信心，尤其是最近发布的 O1 模型，它强调了生成推理能力的重要性。这一能力不仅仅是提供结果，更是展示推理过程，对安全领域至关重要。

包沉浮： 我非常认同傅老师提到的挑战，这些都是实际应用中的痛点。从过去一年到现在，大模型在基础能力和安全知识方面有了显著提升，以 GPT 为例，我们可以看到它性能的明显进步。在百度，我们一直在强调基础大模型能力的重要性，这是构建垂直领域大模型的关键。如果基础能力不足，即使加入再多的专业知识，模型的基本推理能力、稳定性以及指令遵循能力都无法保证，这将影响模型在实际产业场景中的应用。

百度的基础模型团队一直在努力提升模型的基础推理能力和稳定性，包括函数调用等能力。我们还实施了一种称为“数据上车”的机制，各个团队都在为这个基础模型贡献原始语料数据，无论是安全、医疗、教育还是法律领域。我们共同努力提升基础模型的性能，然后在此基础上进行垂直领域的调优。

在实际使用中，我们遇到了许多问题，发现很多事情是模型做不到的。例如，去年非常流行的 autoGPT，大家都期待它能自动拆解任务并进行规划，但最终发现底层模型无法实现这一点。因此，我们在实际工作中逐渐将焦点缩小，专注于解决具体的需求。我们不再追求大而全的解决方案，而是回到核心问题：我们究竟要解决什么样的需求？我们究竟要在安全运营的哪个流程中解决这个需求？我们围绕这些核心工作流程进行工作，即使规模较小也没关系，我们一个接一个地解决那些最实际和关键的安全任务。

包沉浮： 我们非常推荐在资金允许的情况下采用私有化部署方案，百度的千帆大模型平台就支持这样的部署。尤其是如果只用于推理，其成本相对较低，对许多企业来说是可以接受的。从公司整体角度来看，我们希望将大模型平台打造成类似云的公共基础设施，因为这样做对社会运行的整体性价比是最高的，大家不需要分别部署。

针对安全性要求较高的客户，我们会在云上提供专门的解决方案，比如在网络层面和主机层面进行隔离和加固，这是传统网络安全的做法。同时，我们也应用了一些数据脱敏技术，比如在数据出境时，我们会将其中的敏感信息进行脱敏处理。尽管这样做的效果有限，因为我们只能识别并处理那些非常明显且与安全性密切相关的信息。

以我们百度的代码助手 comate 为例，我们会识别代码中的 AK、SK 等泄露信息，并将其过滤掉，防止它们被传输到云端。我们尽力对所有能识别的敏感数据进行脱敏处理。在技术层面，我们也在进行隐私计算等方面的研究，这些研究虽然目前更多停留在学术层面，但我们仍在持续关注是否有低成本的解决方案。

傅奎： 我们最近也正在与一个客户合作探索如何将大模型与现有的安全运营平台结合，以便在上游告警时，基于大模型做出更准确的决策。

在测试阶段，我们进行了大量的工作，比如在将用户数据提交给大模型之前，我们会对内网 IP 地址进行匿名化处理，对公司的域名进行单独的域名化处理，并对 URL 中的特定字符串进行替换，以确保发出的数据不会带有强烈的身份标识。

此外，我们还控制了数据的量，因为短期内发出的数据可能没有问题，但积累到一定程度可能会带来风险。从企业自身的安全管控角度出发，不允许大量数据外流，因此我们会控制数据发出的频次，以在安全运营的实际效果和数据安全之间取得平衡。

包沉浮： 一开始我们对大模型寄予厚望，甚至尝试了强化学习等模型调优，但最终发现它解决不了实际问题。因此，我们回归问题本质，从小问题开始解决。例如，在告警研判方面，我们最初设想的是一个能够解决所有问题的智能代理，但后来发现，如果将告警研判拆解得足够细致，并不是每个问题都需要用同样的方式解决。

我们发现，对于许多类型的告警，更多的是需要判断它是否为误报。对于这种情况，我们只需要提供足够的证据，让安全运营人员相信它确实是误报。我们每天要处理数万条告警，如果错误地将其判定为误报，就等于漏报了。

我们希望运营人员不必查看每一条告警，但大家都不想承担这个风险。因此，我们在这一环节上做得非常精细，针对每一种类型的告警进行处理。例如，如果我们每天有 1 万条告警，其中有 500 到 1000 种不同类型的告警，我们会挑选出数量最多的一类告警，比如每天有 1000 条的某一类告警，然后我们将这一类告警的所有思维链和判断逻辑做得足够精细，让安全运营人员可以完全放心地将这类告警交给模型处理。

傅奎： 我们安全团队对大模型的应用场景抱有很高的期待，希望它能解决许多问题。但在实际落地时，我们发现不能期望大模型完美解决所有问题，它的输出结果有时是不可预测的，这是一个巨大的挑战。

我们曾与客户探讨过一个方案，他们最初希望在发生安全事件时，大模型能自动生成完整的安全响应剧本，包括每一步的操作。但这种尝试失败了。后来，我们退而求其次，考虑让大模型生成剧本草稿，然后由人工修改。这个模式是可行的，但大模型推荐的草稿不固定，有时会增加奇怪的节点，导致工程师困惑，采纳率不高。

最终，我们采取了另一种策略：提前准备 10 到 20 个常用的安全剧本，这些剧本基于安全团队过去高频使用的场景。在安全事件发生时，大模型会驱动这些固定的 Playbook 工作，只要提供准确的参数，Playbook 就能运转。这种方法效果不错，客户采纳率也较高。

在这个过程中，我们学到了不能期望过高，并且要具体到某个场景。我们在处理 SIEM 和 SOC 告警时，优先选择准确性高的告警，比如 OWASP Top10 相关的漏洞，然后再从中筛选出特征明显、拦截方法固定的安全事件。这样，大模型就能推荐出准确度较高的拦截方法或正则表达式。

尽管如此，客户仍然不放心，担心正则表达式写错了会导致问题。因此，我们与客户共同探索了一种新方式：当大模型推荐出安全结果后，我们不会立即将其配置到 WAF 上，而是通过钉钉或企业微信将策略配置方法推送到客户工作群。我们会告诉安全监控工程师，我们发现了安全威胁并决定采取拦截措施，如果他们不采取任何行动，5 分钟后我们将自动配置。如果他们点击拦截，我们则不会配置，他们可以进行修改。这样，机器负责推荐决策，人类负责最终决策，人机结合的方式使得大模型在安全事件响应过程中得到了更好的应用。

包沉浮： 虽然百度目前没有零值守的目标，但我认为这是一个可以实现的方向。

如果我们想用 AI 大模型替代人工，那么我们必须清楚每个步骤的预期结果和质量标准。我们之前遇到的问题之一是，即使大模型已经做得很好，我们的运营团队也没有为这个过程定义一个清晰的质量要求。其次，如果我们能够对质量要求有明确的认识，那么至少在这一点上，我们认为模型可以替代人工。随着模型能力的不断增强，我们可以在更大的环节、更大的范围内明确质量要求，模型也更容易达到这些要求。我们可以逐步扩大这个过程，直到覆盖整个端到端的环节，那时我们就可以实现零值守。

然而，除了技术问题，还有一个组织信任的问题。如果人工操作出现问题，有人可以承担责任，但如果是大模型出现问题，责任由谁来承担？

包沉浮： 在安全领域，我们迫切希望将专家的宝贵经验以有效形式传承与分享，而大模型技术有望彻底改变这一行业的知识管理方式。在攻防技术领域，我认为还有广阔的探索空间。攻防技术的核心，如漏洞挖掘、逆向分析、破解及渗透测试等，既依赖于丰富的经验，也蕴含着创造性。例如，清华大学团队尝试将汇编语言转化为更易理解的人类语言，不仅促进了安全技术在特定攻防领域的应用，还展现了跨领域技术融合的可能性。此外还有 DeepMind 的 Alpha geometry 项目，尽管它与安全领域无直接关联，但其通过模型生成辅助线解决几何题的思路，展现了大模型在发散思维方面的优势，这种不确定性和创造性在攻防领域同样具有应用潜力。

包沉浮： 政府和相关部门制定的法律法规和监管措施是务实且合理的，因为新型技术确实需要考虑多方面的因素，我们要对大模型本身的安全性怀有敬畏之心。

在具体工作层面，我们从多个维度着手。首先是基础设施的安全，确保模型运行的硬件和软件环境是安全的。其次是数据安全，保护模型训练和使用过程中的数据不被非法访问或泄露。再有就是模型本身的安全性，包括防止模型被恶意利用或产生有害输出。

此外，我们还关注模型应用层面的安全，比如模型生成的内容如何确保不侵犯版权、不传播虚假信息等。甚至在模型生成的内容衍生层面，我们也进行了深入的思考，比如如何给生成的图片或视频打上水印，以及如何鉴别这些内容是由模型生成的。

傅奎： 我先谈谈自己的观点。我认为，随着机器智能的快速发展，安全人员和技术周边的 IT 从业人员最终肯定会面临失业的风险。未来，人类的工作方式、生活方式甚至社会关系都可能发生重大变化。一些传统的工作可能会被大模型或人工智能自动化技术所取代，导致工作机会减少。随着技术的发展，我们可能会面临新的社会伦理问题，例如机器可能会故意犯错，以给人类留下解决问题的空间，从而保持人类的价值。

短期内，我认为人类和机器将会有一段时间的协作。尽管许多工作岗位最终可能会被机器取代，但人类将会找到新的方式来协作，社会网络可能会发生新的变化。技术人员可能会进入新的领域，而这些问题可能已经不是我们这一代人需要考虑的了。

包沉浮： 我的观点与傅老师相似。短期内我认为这个行业受到的影响还是有限的。安全是一个相对垂直的技术领域，AI 作为基础设施逐渐渗透到各个行业，但要真正发挥其作用，还需要在该领域有深入的了解。不懂这个领域，连如何正确使用大模型都不知道。随着时间的推移，领域专家的价值将更加凸显。

Richard Sutton 在其著作中提到，依赖人类专家知识的方法最终可能被底层模型技术所取代。几年后，我们可能不再需要人类专家的介入，一切都将实现零值守，AI 将负责所有的攻防任务，人类可能只需要在一旁观察，甚至可能连观察都不需要。

尽管如此，我认为安全人员不太可能是第一批被取代的，反而可能是最后一批。因为只要技术存在，安全问题就会一直存在，尤其是当技术发展到更高层次时，安全问题将变得更加严峻，这将带来更多的机会。

包沉浮： 我很关注 O1 的思维链过程。如何让 AI 模型具备安全思维？所谓安全思维，是指模型在解决问题时，能够像经验丰富的安全专家那样思考和行动。我之前尝试过将安全专家的思维链数据训练到模型中，以优化其性能，使其能够遵循安全的思路来解决问题，但效果并不理想。

然而，O1 给了我一些启发，让我看到了希望。我认为，在特定领域，如果采用类似的方法，很有可能训练出一个相对优秀的模型，使其能够像安全专家那样工作。这是我从去年开始就想要实现的目标，虽然之前模型的技术能力还没有达到那个水平，但现在我看到了实现这一目标的可能性。

傅奎： 安全工作场景中充满了这种动态的、基于返回结果的决策过程。例如，看到一个 IP 地址，如果是海外的还是国内的，决策路径就会不同。如果 IP 地址被标记为僵尸网络，处理策略也会有所不同。如果是一个内部的 IP 或某个资产，我的思路也可能会变化。这种持续的互动是必不可少的。

我认为，在可预见的未来，人与机器的协作仍然会存在。机器可以作为一个强大的安全专家，因为它结合了所有历史上安全专家的经验，能够提供优秀的决策逻辑思维。但在工作过程中，它需要有人配合，帮助收集上下文信息，这个过程可能涉及到机器与机器的交互，也可能涉及到机器与人类的交互。

未来，这两种交互方式都可能会不断发展，最终使整个运营过程变得更加简单、智能，减少对人类的过度依赖。短期内，人类在安全领域的作用仍然是不可或缺的。