刘荔园，瑞莱智慧RealAI联合创始人，09级信息科学技术学院校友，北京大学计算机学士金融学硕士，曾服务于世界500强和国内头部多家金融科技公司并主导线上数据驱动业务，在多业务场景下的AI模型应用有丰富经验，包含零售小微线上业务流程设计和策略输出，以及尖端人工智能技术的业务应用赋能。入选福布斯创业领袖U30榜单，胡润创业领袖U30榜单，中关村U30创业领袖。中国电子信息行业联合会副主任委员，深耕人工智能安全治理产业落地，牵头多项AI安全国际国内标准、专利和论文等。
编者按：
2024年10月18日下午，“才聚京华、智汇德州”暨北大青年 CEO 俱乐部“人工智能 +”系列沙龙第二期活动，在中关村的德州(北京)协同创新中心成功举办。
此次活动旨在响应国家提出的“人工智能+”行动，促进人工智能领域校友之间的交流与合作，探讨人工智能时代的机遇与挑战。
瑞莱智慧RealAI联合创始人刘荔园为大家带来《
生成式人工智能的风险与应对
》的主题分享。刘荔园介绍，利用AI技术侵犯个人隐私、骗取资金的诈骗案件层出不穷，面对深度伪造、算法操纵和自动化网络攻击等新兴威胁，AI安全措施也在不断进化。她以一些常见的黑产攻击手段为例，展示了团队在建立AI安全防线方面领先全球的成果
瑞莱智慧是清华大学人工智能研究院产业落地企业，张钹院士和朱军教授担任公司首席科学家，中央网信办基金中网投、北京市科创基金、蚂蚁集团、百度风投、中科创新、基石资本、松禾资本等知名机构投资，国家级专精特新小巨人企业。公司主要业务为人工智能安全，防范利用AI工具进行的身份冒用和恶意内容生成，服务金融安全和意识形态安全，为国家部委和金融机构提供人工智能安全检测体系，累计服务300家客户，单客平均减少资金损失为亿级。
人工智能的发展与风险
刘荔园首先回顾了人工智能的三次发展浪潮，指出了各阶段的特点和局限性：
-
第一代人工智能：以知识驱动为主，依赖专家知识和规则，适用于简单任务，但在处理复杂问题时表现不佳。
-
第二代人工智能：以深度学习为主，数据密集型，通过深度神经网络提高了准确率，但也带来了黑盒问题和不可控性。例如，自动驾驶在恶劣天气或路标遮挡情况下可能出现误判。
-
第三代人工智能：更安全、更可控、更可解释，旨在结合人类知识和深度学习的优势，提高任务效果和安全性。
实际案例与风险
刘荔园通过多个实际案例，详细说明了人工智能在金融、社交等领域的安全风险：
-
金融诈骗：黑产利用人工智能技术伪造人脸，绕过银行账户验证，导致大额资金损失。例如，某国有银行的一位储户因人脸识别被伪造，损失了300万元，目前正在与银行进行诉讼。
-
社交诈骗：利用AI生成的视频和音频进行诈骗，如“杀猪盘”和借贷骗局。在某些案例中，诈骗者通过视频通话伪装成受害者的亲友，骗取信任后实施诈骗。
-
意识形态安全：AI生成的假视频和音频在社交媒体上广泛传播，可能导致政治不正确的信息泛滥。瑞莱智慧RealAI与国家部委单位合作，发现现有内容审核机制难以识别这些虚假信息。
黑产生态与技术
-
黑产工具：市场上存在大量用于伪造人脸、声音和图像的工具，这些工具成本低廉且易于获取。例如，公开可搜到的换脸APP已达200款。
-
产业链：黑产形成了完整的产业链，包括数据贩卖、软件开发和培训服务。这些服务高度专业化，甚至不亚于正规科技公司。
-
技术迭代：黑产不断进行技术迭代，快速响应新的防范措施。
应对措施与解决方案
针对上述风险，刘荔园提出了
通过AI技术检测和识别伪造内容的
应对措施和解决方案：瑞莱智慧RealAI开发了多种算法，能够在不同场景下准确识别AI生成的内容。
刘荔园强调，随着人工智能技术的不断发展，安全问题将日益突出。企业和社会各界需要共同努力，通过技术创新和合作机制，确保人工智能的健康发展。瑞莱智慧RealAI将继续致力于解决人工智能安全问题，为用户提供更加可靠的服务。
