专栏名称: FreeBuf
国内关注度最高的全球互联网安全新媒体
目录
相关文章推荐
吉林市场监管  ·  3·15国际消费者权益日:共筑满意消费 ·  21 小时前  
吉林市场监管  ·  3·15国际消费者权益日:共筑满意消费 ·  21 小时前  
福建市场监管  ·  省市场监管局举行数智互联执法装备配发暨实时指 ... ·  23 小时前  
福建市场监管  ·  省市场监管局举行数智互联执法装备配发暨实时指 ... ·  23 小时前  
如东新媒体  ·  紧急提醒! ·  2 天前  
如东新媒体  ·  紧急提醒! ·  2 天前  
海胆新闻  ·  错误也照搬!知名平台被指抄袭,紧急下线 ·  3 天前  
海胆新闻  ·  错误也照搬!知名平台被指抄袭,紧急下线 ·  3 天前  
51好读  ›  专栏  ›  FreeBuf

多视角解码大模型安全:以 AI 制衡 AI,突破安全困局

FreeBuf  · 公众号  · 互联网安全  · 2025-03-12 14:35

正文


在人工智能快速发展的今天,大模型已经成为了推动各行业变革的核心技术之一,从医疗诊断到智能交通,从金融风险控制到教育个性化推荐,各行各业中都出现了大模型的身影。


根据Gartner的预测,2026年将有超过80%的企业部署启用生成式人工智能(GenAI)的应用,而2023年这一比例尚不足5%,可以说大模型正以前所未有的速度重塑着我们的世界。


技术突飞猛进的同时,也伴生着快速成长带来的“生长痛”,从数据隐私泄露、算法偏见,到模型滥用和对抗性攻击,大模型技术本身的内生安全和在各领域使用所导致的应用安全问题也日益凸显,成为行业内外共同关注的焦点。



在此背景下,腾讯安全联合西安市智能系统安全重点实验室、LLM&Sec landscape安全社区共同举办“模型有界、安全无疆”主题技术研讨会,邀请了来自陕西省计算机学会网络空间安全专委会、西安电子科技大学、绿盟、京东等产学研各界嘉宾代表,围绕大模型的安全问题,从高校教育、企业实践、监管政策、技术创新等多个方面进行了探讨与分享。


一、多视角审视大模型安全


在研讨活动中,所有嘉宾提到大模型的发展都用了同一个形容词“快”,性能提升快,迭代速度快,场景拓展快,攻击方式更新的速度同样快。

面对新技术带来的认知冲击和知识焦虑,如何在大模型时代的网络攻防对抗中始终保持先发优势?或者说大模型时代需要什么样的安全人才?


在圆桌对话环节,嘉宾从不同视角深入探讨了大模型时代的安全与人才培养问题。嘉宾一致认为大模型时代,技术手段的高速发展带来了新的发展机遇同时也迎来了更高的挑战,不论是网安人才的培养,还是监管措施的落地,都需要从高校教育到企业实践的协同应对。


西安电子科技大学博士生导师/西安市智能系统安全重点实验室主任/陕西省计算机学会网络空间安全专委会副秘书长 高海昌

腾讯云安全策略&攻防专家 李滨

腾讯云鼎实验室攻防负责人 李鑫

绿盟科技M01N战队负责人/LLM&SEC Landscape 社区发起人 高东

1. 高校视角:知识更新与实战能力的双重挑战


西安电子科技大学的高海昌教授指出,高校在培养适应大模型时代的AI人才方面,正面临着知识更新与实战能力培养的双重挑战。


高海昌教授表示,人工智能时代,知识的确卷得非常快,怎么跟上这么卷的步伐,也是高校老师一直在思考的内容。以西电为代表的电子信息类学校一直没有停止过对知识的更新,比如在课程设置中引入国产开源操作系统OpenHarmony和数据库如 openGauss,使学生在学习过程中与实际应用接轨,缩短从理论到实战的周期,以便在未来的学习和工作中能够更好地融入企业与社会。


但这并不意味着知识体系可以像大模型更新一样全盘改变,大学作为打基础的阶段,有些知识必须保留,高等数学、大学物理、数据结构等基础知识虽多年未变,但依然是学习其他知识的根基,不可或缺。


关于实战能力的培养,高海昌教授坦言,高校在培养学生实战能力方面存在不足。这需要学校、安全企业,以及学生自己的共同努力。一方面高校与本地安全企业、头部企业开展合作,为学生提供实习、实践机会,提升学生从理论到实战的能力。另一方面,也鼓励学生参加各类竞赛和实际项目,通过实战锻炼提高解决实际问题的能力。


2. 企业视角:技术迭代对人才能力结构的影响


腾讯云安全策略&攻防专家李滨从企业的角度,强调了技术迭代对人才能力结构的影响。他认为,未来每个人的基本素质能力都将包含AI的理解和应用,就像使用手机一样,成为基础能力。


AI的渗透趋势是不可逆的,并且在不断加速中,从2024年中到现在,新技术基本是以三个月到半年的速度发生换代或者迭代。DeepSeek的出现更是点燃了新一轮大模型技术发展和应用的热情,基本每三天就会有新的论文、新的技术出现。这是在过去十年以来,整个AI技术领域都没有出现过的速度。对于每个学生个体、从业者最大的影响就在于,你半年前学习的知识放到现在可能已经过时。


李滨认为面对这样的快速变化,个人能力集合将会分化。像编程、维护、开发等中间层面的技能性知识很容易就会被AI取代,AI甚至能做得更快更好。AI不能取代的是扎实的底层技术基础和顶层抽象思维能力,这些才是在快速变化的技术环境中保持竞争力更关键、更重要的部分。


面对新技术带来的认知冲击和知识焦虑,腾讯云鼎实验室攻防负责人李鑫认为,当某个领域工程师超负荷运转时,必然会有新技术出现以改善整个生态,这两年安全行业这么卷,就是因为大模型马上要出现,所以大家不要过于焦虑,只需要站在巨人的肩膀上跟上时代步伐即可。


作为新时代的网络安全人才,需要备两种素质和能力:一是学会给AI打工,让它成为你的教练,帮你制定各种计划;二是学会让AI给自己打工,具备驾驭AI的能力,将工作流程化,学会调动AI参与实现关键技术,也就是“以模制模,让AI打AI”。


3. 安全挑战视角:AI技术的滥用与应对措施


随着AI技术的深度应用以及快速迭代,大模型自身面临和随之带来的安全挑战也日益严峻。


面对AI时代诈骗手段带来的安全挑战,高海昌教授强调了AI 监管的迫切性,特别是在生物信息保护和 AI 伦理方面。他指出,生物信息的不可修改性和 AI 伪造能力的提升,使得监管变得尤为迫切。高校和企业应该共同合作,推动 AI 监管规范的制定和落地,为学生和从业者提供明确的指导。


绿盟科技M01N战队负责人高东则强调了技术员在 AI 监管中的重要作用。在AI伦理监管规范的建设制订方面,技术人员可通过威胁建模等方式预判风险,为规范制订提供建议。在规范落地方面,技术人员可从实战与技术角度解读并实施规范,处理合规对模型开发生命周期的影响,参与评估验证,持续提升人工智能体系的安全性。







请到「今天看啥」查看全文