专栏名称: 安天集团
安天是引领威胁检测与防御能力发展的网络安全国家队,依托自主先进核心技术与安全理念,致力为战略客户和关键基础设施提供整体安全解决方案。安天产品和服务为客户构建端点防护、边界防护、流量监测、导流捕获、深度分析、应急处置等基础能力。
目录
相关文章推荐
风动幡动还是心动  ·  利好兑现 ·  23 小时前  
风动幡动还是心动  ·  利好兑现 ·  23 小时前  
看雪学苑  ·  一个msi样本的分析 ·  2 天前  
湖北日报  ·  山姆又出事了 ·  2 天前  
湖北日报  ·  山姆又出事了 ·  2 天前  
最红安  ·  小米撤回“不做卫生巾”! ·  2 天前  
最红安  ·  小米撤回“不做卫生巾”! ·  2 天前  
财联社AI daily  ·  吴泳铭:阿里巴巴现有业务要全面实现“AI化” ·  2 天前  
财联社AI daily  ·  吴泳铭:阿里巴巴现有业务要全面实现“AI化” ·  2 天前  
51好读  ›  专栏  ›  安天集团

为大模型构建运行安全和业务安全防线

安天集团  · 公众号  · 互联网安全  · 2025-03-18 18:15

正文

点击上方"蓝字"
关注我们吧!


以DeepSeek为代表的AI服务正加速融入政企数字化进程,与此同时,大模型安全性问题逐渐成为关注的焦点。一方面大模型应用往往承载着内部敏感数据,一旦成为数据资源的汇聚地,就可能成为攻击者试图窃取关键数据资源的最佳攻击点;另一方面伴随AI服务接口(API)调用量激增,第三方接口越权访问可能引发数据泄露以及算法服务交互缺乏审计等已成为制约政企智能化应用发展的主要安全隐患。

大模型安全问题涉及大模型自身安全、大模型应用内容安全、大模型应用运行环境安全、大模型应用业务安全、大模型应用数据安全等多个层次。大模型安全防护工作涉及开源/商用模型及辅助工具开发方、私域大模型部署应用供应商、算力基础设施供 应商、 政企大模型应用建设运营方 、政企大模型 应用用户方和大模型安全监管方等多元主体,不同主体在不同的安全防护工作层次上安全职责不同。 从政企大模型应用建设运营方来看,综合考虑风险危害程度、技术成熟度、安全投入与防护收益等因素,当前最急迫的工作是在加速应用大模型的进程中,同步构筑大模型运行安全与业务安全防线。




大模型安全防护方案框架

安天大模型安全防护方案覆盖大模型部署上线到持续运营的关键环节,面向大模型应用的运行环境安全和智能化业务应用安全需求,依托一个探针弹性组合多种防护能力,统一运营承载大模型业务的主机、容器等运行环境安全防护;同时强化大模型框架安全和业务应用API环节安全防护。方案为用户提供AI资产安全加固、暴露面治理、全周期容器安全、微隔离管控、入侵防范以及大模型提示词注入防护、敏感数据识别、API安全审计等多层次防护能力,有效应对大模型运行安全风险与威胁攻击。

图 1大模型安全防护方案架构图





加强主机和容器等大模型运行环境一体化防护

安天睿甲产品 采用 “统一运营平台+一个探针弹性组合多种防护能力” 模式,防护承载大模型业务运行的主机和容器等运行环境,提供资产识别、系统加固、漏洞风险发现、虚拟补丁、基线管理、入侵检测、病毒查杀等防护能力,守护大模型业务运行环境底座安全。

AI资产识别。 安天睿甲内置全栈资产指纹库,可深入识别AI大模型业务的系统层、容器层、应用层资产数据,包括系统配置、端口/进程、账号、软件应用、数据库、Web服务、AI应用模型等资产,通过实时跟踪资产运行状态,并结合风险发现、入侵检测等安全隐患与安全事件提供资产风险可观测性能力,帮助用户快速定位资产风险以及资产风险影响面。

图 2针对大模型AI资产识别

大模型漏洞检测。 安天睿甲已全面覆盖当前私有部署AI大模型基础层和应用层的漏洞检测,包括DeepSeek、Ollama等,通过版本比对+POC验证两种漏洞检测模式,快速检测AI大模型的漏洞,如近期大模型组件Ollama的远程代码执行漏洞(CVE-2024-37032),睿甲可帮助用户及时发现该漏洞风险,并提供加固措施。

图 3针对大模型组件Ollama漏洞风险详情

虚拟补丁防护。 安天睿甲的虚拟补丁方案可以在不中断业务的情况下快速部署并提供即时的保护,通过规则匹配、语义分析、AI检测算法等检测技术,能够更精准地识别和拦截针对AI大模型的复杂攻击,避免因等待代码修复而导致的安全风险。

图 4针对大模型组件Ollama虚拟补丁防护

入侵检测与溯源分析。 安天睿甲面对AI大模型运行环境安全,以自主可控的威胁检测引擎为核心,采用 HIDS 多特征复合匹配机制,能够迅速精准判定AI大模型环境的系统层存在的恶意代码、后门、反弹、越权、爆破等入侵行为。同时,安天睿甲联EDR引擎+关联算法进行全量行为分析,有效解决常规特征检测存在的误报漏报问题。

图 5自主威胁检测引擎+HIDS复合匹配机制防范入侵检测

图 6威胁杀伤链溯源

大模型业务微隔离管控。 睿甲深度解析主流AI大模型框架(TensorFlow/PyTorch)部署特征,自动识别模型训练集群的节点角色(主机/工作节点)及通信拓扑‌,构建AI应用资产图谱,可视化展示模型服务调用链、数据流向及权限依赖关系。并且根据实际业务需求,支持对AI大模型应用资产进行进程级的网络访问控制,收缩其运行环境的暴露面,防止AI大模型资源滥用问题。

图 7大模型业务系统地图和流量关系

图 8大模型业务网络访问控制策略配置




强化大模型业务应用API安全与全链路数据安全
安天API雷达产品 覆盖大模型自身安全、框架安全和业务应用API环节, 提供 全链路、层次化的 大模型业务应用 防护能力。 针对大模型自身安全,提供提示词注入防护、敏感数据防泄漏、拒绝服务攻击防护、基于认证的安全管控等能力,有效规避、缓解OWASP Top 10 for LLM中的安全风险;针对大模型部署框架安全和业务应用API安全,内嵌Web安全防护引擎,综合运用特征检测与语义分析技术检测SQL/XSS注入攻击,通过基于身份的访问控制防范越权风险,加强了针对大模型文件提交环节的安全监测,预防恶意代码注入执行。同时,产品基于敏感数据识别引擎提供数据记录、分析、管理、审计和回溯能力,基于语料数据驱动自建模型的业务持续优化,帮助用户提升私有化大模型的业务应用效能。

图 9规避缓解OWASP Top 10 for LLM

提示词注入防护







请到「今天看啥」查看全文


推荐文章
风动幡动还是心动  ·  利好兑现
23 小时前
风动幡动还是心动  ·  利好兑现
23 小时前
看雪学苑  ·  一个msi样本的分析
2 天前
湖北日报  ·  山姆又出事了
2 天前
湖北日报  ·  山姆又出事了
2 天前
最红安  ·  小米撤回“不做卫生巾”!
2 天前
最红安  ·  小米撤回“不做卫生巾”!
2 天前
漫心情  ·  我的心酸和委屈要说给谁听?
8 年前