【IDC研究精选】大模型时代下的网络安全：应用、风险与防范策略（附限时免费资源）

根据IDC在最近一项关于当前行业内企业使用生成式AI（GenAI）技术的应用程度调研结果，我们可以看出，超过20%的企业已经制定了详细的投资计划，包括人员培训、GenAI软件采购、咨询服务等内容，超过50%的企业正在进行初步的测试或者已经开始探索潜在的应用场景。

对于行业最终用户来讲，决定使用GenAI只是第一步，更加重要的是找到最佳应用场景，从而发挥GenAI能够带来的最大价值，保证企业业务的向好发展。

从行业场景角度来看，需要更多的定制化工作（在某些情况下，甚至可能需要构建自己的生成式AI模型），例如通过GenAI技术实现在生命科学行业中的药物发现和在制造业中的材料设计工作。

对于大型企业来讲，他们拥有足够多的训练数据集，或者通过生态系统中的合作方以数据共享的方式来训练模型，以给企业带来真正的业务价值。

大模型的发展赋予了GenAI更多的可能性，越来越多的企业也在不断探索适合GenAI技术应用的业务场景。但GenAI的使用也同样带来了更多的安全风险，例如，无法正确管理数据的AI工具会增加企业的隐私风险并威胁数据安全；使用有偏见的数据训练的生成式AI模型会持续输出有偏见的内容，且无法逆转等。

• 确保训练数据准确无偏见，并且建立严格的权限管理制度

• 关注GenAI工具是否利用非敏感数据却生成了敏感数据

• 权衡可能损害企业品牌形象的风险

• 确保员工安全意识培训

充分利用安全检查工具，梳理企业风险敞口和其他风险状况，保持主动防御的姿态。

• 采用符合国家、行业法律法规的产品并及时关注法律法规的更新状态

• 定期评估安全防范措施，了解当前企业网络安全建设的合规程度

GenAI工具的使用对于降低企业业务风险、提高生产力和效率至关重要，但错误地调试AI工具可能会导致做出错误决策或无法向运营人员提供正确的反馈信息。

因此需要保证运营团队能够访问高质量的数据并对GenAI运营人员提供相应的培训并清晰传递企业AI工具的使用目标。

• 优先采用对安全团队最有实际意义的AI技术

• 当前GenAI技术最适用于节省时间和提高效率

• 时刻对GenAI的使用保持谨慎的态度

• 选择在GenAI工具安全防护层面具有优秀表现的供应商

• 将企业对GenAI的应用诉求准确地与合作的供应商进行沟通

• 要求供应商提供其在数据处理层面的详细步骤，避免隐私侵犯、版权侵犯等风险

2023年，国家网信办联合多部委公布实施的《生成式人工智能服务管理暂行办法》，确立了生成式人工智能服务的管理框架和监管原则，清晰界定了服务提供者的责任以及用户的权利。

如今，越来越多地网络安全公司和大模型公司将关注重点放在大模型或GenAI工具的安全能力检测以及安全防护的方向上，推出了一系列的针对大模型或GenAI工具的安全检测和安全防护解决方案，这对于人工智能技术在企业侧的深入应用具有重大意义。

基于此，IDC启动《大模型安全解决方案品牌能力与洞察》报告，旨在更加全面展现当前市场中专注于大模型安全的安全解决方案，帮助最终用户选择最适合的产品。大模型安全解决方案从两方面进行筛选：大模型安全检测解决方案、大模型安全防护解决方案。该报告将于近期发布，敬请关注。

在9月11日刚刚落幕的2024 IDC中国安全风险管控峰会上，IDC中国研究总监王军民在提到，IDC预测，至2027年，全球网络安全市场规模预期为2.6万亿人民币，中国占全球市场的5.4%，未来仍有很大发展潜力。中国网络安全市场增长虽存不确定性，但AI赋能安全时代已全面来临，推动产业加速发展。

扫码或点击左下角阅读原文

立即免费下载演讲资料