专栏名称: 学术头条
致力于科学传播和学术分享,关注计算机科学、认知科学、人工智能科学、神经科学、脑科学等学科领域。我们从跨学科的角度,围绕“认知智能”向科学界和大众介绍相关领域的前沿话题和深度解读。
目录
相关文章推荐
FM1007福建交通广播  ·  男星大仓忠义宣布结婚,女方已怀孕!公开信:我 ... ·  22 小时前  
FM1007福建交通广播  ·  男星大仓忠义宣布结婚,女方已怀孕!公开信:我 ... ·  22 小时前  
龙视新闻在线  ·  高校聘请兼职教师,这些人可参与→ ·  2 天前  
龙视新闻在线  ·  高校聘请兼职教师,这些人可参与→ ·  2 天前  
51好读  ›  专栏  ›  学术头条

11个ChatGPT和生成式AI安全趋势|关注

学术头条  · 公众号  ·  · 2023-02-15 18:42

正文


来源:VentureBeat

作者:Tim Keary

编译:库珀


近期爆火的 AI 聊天机器人 ChatGPT,以及文生图模型 Dall·E 2、Stable Diffusion 等,让生成式人工智能(generative AI)成功出圈。


然而,技术的背后,也暗藏了一些不容忽视的风险。 对安全团队而言,ChatGPT 和生成式人工智能究竟是福还是祸?


最近, 普华永道的分析师们对国外科技媒体 VentureBeat 分享了关于生成式人工智能和 ChatGPT 等工具将如何影响威胁形势以及防御者将出现哪些用例的看法

他们认为,虽然人工智能生成恶意代码和钓鱼邮件的能力给企业带来了新的挑战,但也为一系列防御性用例打开了大门,如威胁检测、补救指导,以及保护 Kubernetes 和云环境等。

总的来说,分析师们乐观地认为,从长远来看,防御性用例将上升,以打击人工智能的恶意使用。



以下是 11 个关于生成式人工智能在未来将如何影响网络安全的预测。 学术头条在不改变原意的前提下,对内容做了精简与编译。

1.恶意使用人工智能

当涉及到我们可以利用人工智能的方式时,我们正处于一个拐点,这种范式转变影响着每一个人和每一件事。当人工智能掌握在公民和消费者手中时,伟大的事情可以发生。

与此同时,它可以被恶意的威胁者用于邪恶的目的,如恶意软件和复杂的网络钓鱼邮件。

鉴于人工智能的未来能力和潜力的许多未知数,组织开发强大的程序来建立抵御网络攻击的弹性是至关重要的。

还需要有以社会价值观为基础的监管,规定这种技术的使用要符合道德。同时,我们需要成为这一工具的“聪明”用户,并考虑需要哪些保障措施,以使人工智能在提供最大价值的同时将风险降到最低。

——Sean Joyce,普华永道

2.需要保护人工智能的训练和输出

现在,生成式人工智能已经具备了可以帮助企业转型的能力,对于领导者来说,与对如何驾驭日益增长的安全和隐私考虑有深刻理解的公司合作,是非常重要的。

有两方面原因。首先,公司必须保护人工智能的训练,因为他们从微调模型中获得的独特知识将对他们如何经营业务、提供更好的产品和服务,以及与员工、客户和生态系统接触至关重要。

其次,公司还必须保护他们从生成式人工智能解决方案中获得的提示和反应,因为它们反映了公司的客户和员工正在利用该技术做什么。

——Mohamed Kande,普华永道

3.制定生成式人工智能使用政策

当你考虑使用你自己的内容、文件和资产进一步训练(微调)生成式人工智能模型,以便它可以在你的(行业/专业)背景下对你的业务的独特能力进行操作时,许多有趣的商业用例就出现了。通过这种方式,企业可以用他们独特的知识产权和知识来扩展生成式人工智能的工作方式。

这就是安全和隐私变得重要的地方。对于一个企业来说,你促使生成式人工智能产生内容的方式应该是你企业的隐私。幸运的是,大多数生成式人工智能平台从一开始就考虑到了这一点,其设计是为了实现提示、输出和微调内容的安全和隐私。

然而,现在所有用户都明白这一点。所以,任何企业都必须为使用生成式人工智能制定政策,以避免机密和私人数据进入公共系统,并在企业内部为生成式人工智能建立安全和可靠的环境。

——Bret Greenstein,普华永道

4.现代化的安全审计

生成式人工智能很可能在审计工作方面催生创新。复杂的生成式人工智能有能力创建考虑到某些情况的回应,同时以简单、易懂的语言编写。

这项技术所提供的是一个获取信息和指导的单点,同时还支持文件自动化和分析数据以回应特定的查询--而且效率很高。这是一个双赢的结果。

不难看出,这种能力可以为我们的员工提供更好的体验,进而也为我们的客户提供更好的体验。

——Kathryn Kaminsky,普华永道

5.更加关注数据卫生和评价偏见

任何输入人工智能系统的数据都有可能被盗或被滥用的风险。首先,确定输入系统的适当数据,将有助于减少在攻击中丢失机密和私人信息的风险。

此外,重要的是进行适当的数据收集,以制定详细和有针对性的提示,并将其输入系统,这样你就可以获得更有价值的输出。

一旦你有了你的产出,就需要检查系统内是否有任何固有的偏见。在这个过程中,请一个多元化的专业团队来帮助评估任何偏见。

与编码或脚本的解决方案不同,生成式人工智能是基于经过训练的模型,因此它们给出的回应不是 100% 可预测的。要使生成式人工智能给出最值得信赖的输出,需要其背后的技术和利用它的人之间的合作。

——Jacky Wagner,普华永道

6.跟上不断扩大的风险并掌握基础知识

既然生成式人工智能正在被广泛采用,实施强大的安全措施是防止威胁者的必要条件。这项技术的能力使网络犯罪分子有可能创建深度伪造图像,更容易执行恶意软件和勒索软件攻击,公司需要为这些挑战做好准备。

最有效的网络措施继续受到最少的关注:通过保持基本的网络卫生和压缩庞大的遗留系统,公司可以减少网络犯罪分子的攻击面。

整合运营环境可以降低成本,使公司能够最大限度地提高效率,并专注于改善其网络安全措施。

——Joe Nocera,普华永道

7.创造新的工作和责任

总的来说,我建议公司考虑拥抱生成式人工智能,而不是建立防火墙和抵制--但要有适当的保障措施和风险缓解措施。生成式人工智能在如何完成工作方面有一些非常有趣的潜力;它实际上可以帮助释放出人类用于分析和创造的时间。

生成式人工智能的出现有可能导致与技术本身相关的新工作和责任--并产生确保人工智能被道德地和负责任地使用的责任。

它还将要求使用这些信息的员工发展一种新的技能--评估和识别所创建的内容是否准确的能力。

就像计算器被用于简单的数学相关任务一样,在日常使用生成式人工智能的过程中,仍有许多人类技能需要应用,如批判性思维和有目的的定制--以释放生成式人工智能的全部力量。

因此,虽然从表面上看,它似乎在自动化人工任务的能力方面构成了威胁,但它也可以释放创造力,帮助人们在工作中表现出色。

——Julia Lamm,普华永道

8.利用人工智能来优化网络投资

即使在经济不确定的情况下,公司也没有积极寻求在 2023 年减少网络安全支出;然而,CISO 必须考虑他们的投资决策是否更具经济性。

他们正面临着少花钱多办事的压力,导致他们投资于用自动化替代方案取代过度手工的风险预防和缓解过程的技术。

虽然生成式人工智能并不完美,但它非常快速、高效和连贯,技能也在迅速提高。通过实施正确的风险技术--如为更大的风险覆盖面和检测而设计的机器学习机制--组织可以节省资金、时间和人员,并且能够更好地驾驭和抵御未来的任何不确定性。

——Elizabeth McNichol,普华永道

9.加强威胁情报

虽然释放生成式人工智能能力的公司专注于保护,以防止恶意软件、错误信息或虚假信息的创建和传播,但我们需要假设生成式人工智能将被不良行为者用于这些目的,并提前采取行动。






请到「今天看啥」查看全文