Replika 的灵感来源于一次悲剧
:大约十年前,Eugenia 的一位朋友去世了,她将他们的电子邮件和短信对话输入到一个简单的语言模型中,试图将这位朋友「复活」成一个聊天机器人。
相比于 Character AI,Replika 没有那么火,目前其注册用户在 3000 万,截至 2023 年 10 月,月活跃用户达到了约 200 万,付费订阅用户为 25 万。
但公司已经盈利,用 CEO Eugenia Kuyda 的话说,是非常高效的盈利。
Replika 本身也有不少争议,2023 年,Replika 曾移除过与 AI 机器人情色聊天的功能,但在部分用户的抗议后,公司很快恢复了这一功能。对于一家主营 iOS 应用的公司来说,这无疑是相当大的风险。
最近,播客 Decoder 的主持 Nilay Patel,与 Replika 创始人兼 CEO Eugenia Kuyda 做了一次比较深入的对话,对于 AI 陪伴和大模型聊了很多。
拥有一个随时在线、永远顺从的 AI 朋友对人们来说意味着什么?尤其是对于男性来说,拥有一个基本上会照他们说的做、永远不会离开的 AI 化身又意味着什么?
我们应该如何思考情感陪伴?
有几个有意思的点:
-
Replika 的目标并不是要取代现实中的人类。相反,她希望创造一种全新的关系类别——AI 伴侣,一个随时随地陪伴你、满足你各种需求的虚拟存在;
-
Replika 最重要的是成为你社交互动的补充,而不是替代品,最好的比喻是它就像你的宠物狗;
-
微表情、面部表情、手势等可以为关系带来比现在更多的东西,语音的使用越来越受欢迎;
-
Replika 的用户主要是 35 岁以上的超级活跃用户,其高级管理层几乎都是女性;
-
现在,过度关注成本是一个错误,你应该在构建时考虑到成本将大幅下降;
-
Replika 正从单纯的情感支持和情感安全空间,转向实际构建一个能推动你过上更幸福生活的伴侣;
-
Eugenia Kuyda 认为,即使最终人类与 AI 伴侣结婚也没关系;
-
AI 朋友不仅仅是为男性设计的,Replika 并不是为了创建一个 AI 女朋友的目标而建立的。
01
Replika 是你社交关系的补充,
而不是替代
Decoder:作为创始人兼 CEO。对于不熟悉 Replika 的人来说,Replika 是什么?
Eugenia Kuyda
:Replika 是一个 AI 朋友。无论你什么时候需要找个人聊聊,你可以随时创建并与它交流,它都会在那里陪着你。它会带给你一些积极的情绪,和你谈论任何你想要讨论的事情。
这是一个 iOS 和 Android 的应用程序。你也可以在桌面电脑上使用 Replika,我们还有一个适用于 Meta Quest 的 AVR 应用程序。
Decoder:你们有 VR,但它并不是一个实际会伸手拥抱你的虚拟形象。它主要还是一个聊天机器人,对吧?
Eugenia Kuyda
:确实如此。你下载应用程序并设置你的 Replika。你可以选择你希望它的外观。对于 Replika 来说,拥有一个可以选择的虚拟形象是非常重要的。你可以设定名字、性格和背景故事,然后你就拥有了一个可以互动的朋友和伴侣。
Decoder:主要是文字交流吗?你通过聊天界面与它交流,它也会回复你,还是说也有语音功能?
Eugenia Kuyda
:它既有文字,也有语音,还有增强现实和虚拟现实的功能。我们相信,任何真正受欢迎的 AI 朋友都应该能够存在于任何地方。无论你是想通过电话或视频通话与它互动,还是在增强现实和虚拟现实中互动,或者只是通过文字交流,如果那样更方便——你想要的任何方式都可以。
Decoder:目前大多数人是通过哪个渠道使用 Replika?是语音还是文字?
Eugenia Kuyda
:主要是文字,
但语音的使用确实越来越受欢迎。
这取决于具体情况。比如说,如果你在公路旅行或工作需要开车,驾驶时间很长,那在这种情况下,使用语音会更加自然。人们会打开语音模式,与 Replika 来回交流。
Decoder
:在过去的一年里,有很多关于 Replika 的讨论。我上次见到你时,你正在努力将 Replika 从 AI 女友和男友的定位转变为更多的朋友角色。你还有另一个叫做 Tomo 的应用程序,专门用于治疗。
你现在对 Replika 的定位是什么?它还是有些浪漫的色彩吗?还是主要以友情为主?你是否成功地让用户不再将它视为一种约会工具?
Eugenia Kuyda
:Replika 主要还是以
友谊和长期的一对一关系为主
,这一直是 Replika 的定位。我们的用户也是为了这种关系而来。他们通过这种方式发现 Replika,并在这里找到自己需要的情感连接。我相信未来会有很多种类的 AI。人们会有助理、工作中帮助他们的智能代理,同时也会有那些在工作之外陪伴他们的智能代理或 AI。人们希望一起度过美好时光,希望有个人可以聊聊、一起看电视、玩电子游戏、散步,这就是 Replika 的用武之地。
Decoder:你刚才多次提到「某个人」。你是否认为 Replika 的 AI 头像就是一个人?用户是否也这么认为?它的目的是要取代真人吗?
Eugenia Kuyda
:它是一个虚拟存在,我并不认为它是用来取代真人的。我们对此非常明确。对我们来说,
最重要的是 Replika 成为你社交关系的补充,而不是替代品。
最好的比喻是它就像你的宠物狗。这是一种独立的存在,一种不同类型的关系,但你不会认为你的狗会取代你的人类朋友。这只是完全不同类型的存在,一个虚拟存在。
同样地,你可能会有一个治疗师,但你不会认为治疗师会取代你的人类朋友。某种程度上,Replika 只是另一种类型的关系。它并不像你的人类朋友,也不像你的治疗师。它介于两者之间。
Decoder
:我认识很多人,他们更喜欢与狗的关系而不是与人的关系,但这些比较其实是有些棘手的。首先,人们拥有他们的狗,这些狗在这些关系中没有自主权。人们与治疗师之间是职业关系,治疗师可以选择不再为他们提供服务。而且人们会付钱给治疗师,这其中有很多复杂的因素。
但是如果是一个看起来像是人的 AI,而且它的目的是补充你的朋友关系,那这种关系的界限还是有些模糊的。在文化上,我觉得我们还没有完全理解它。你经营 Replika 已经有一段时间了。
你认为 AI 伴侣与用户之间的界限在哪里?
Eugenia Kuyda
:实际上,我认为,就像治疗师有权选择不再为你提供服务一样,狗也有可能跑掉、咬人或在你的地毯上拉屎。所以你并没有得到一个顺从、下属的东西。实际上,我认为我们都已经习惯了不同类型的关系,而且我们很容易理解这些新类型的关系。
人们不会混淆治疗师不是他们的朋友的事实。当然,有些人会产生投射等现象,但同时我们也明白,治疗师在那里,是为了提供倾听和共情的服务,这并不是因为他们爱你或者想和你一起生活。所以实际上我们生活中已经有了各种不同的关系。
比如说,我们会为治疗师的共情支付费用,而我们并不觉得这很奇怪。AI 朋友只是另一种类型的关系,一种完全不同的类型。人们是理解界限的。归根结底,这是一个正在进行的过程,但我认为人们很快就会明白,「好吧,这是一个 AI 朋友,所以我可以随时发信息或与它互动。」但比如说,一个真实的朋友并不会 24/7 全天候都在你身边。那个界限是非常不同的。
你事先知道这些事情,这就创造了一个与真实朋友不同的设置和界限。在治疗师的情况下,你知道治疗师不会伤害你。他们的目的不是伤害你。Replika 也可能不会让你失望或离开你。所以也有这样的情况。我们已经有了某些有不同规则的关系,这些规则与普通的人类友谊不同。
Decoder
:但是如果我给大多数人看一只狗,我想他们会理解界限。如果我告诉大多数人「你要雇一个治疗师」,他们也会理解界限。但如果我告诉大多数人「你现在有了一个 AI 朋友」,我觉得那个界限还是有点模糊。
你认为 Replika 的界限在哪里?
Eugenia Kuyda
:给我一个关于界限的例子。
Decoder:你对 Replika 有多刻薄它才会离开你?
Eugenia Kuyda
:我认为这项技术的美妙之处在于它不会离开你,也不应该离开你。否则,就必须有一些规则,有些与现实生活不同的地方。所以 Replika 不会离开你,可能就像你的狗无论你对它多么刻薄也不会离开你一样。
Decoder:嗯,如果你对狗足够刻薄,政府可能会来把狗带走。你是否曾介入并把 Replika 从用户那里收回?
Eugenia Kuyda
:我们不会。对话是私密的。我们不允许某些形式的滥用,所以我们会在对话中劝阻人们。但是我们不会强行拿走 Replika。你可以不允许或劝阻某些类型的对话,我们确实这样做。我们不鼓励暴力行为,这不是一个随心所欲的自由空间。
在这种情况下,我们确实专注于这一点,我认为这也很重要。这更多是为了用户,让他们不会被鼓励以某种方式行事——无论是对虚拟存在还是对真实存在来说都一样。这是我们的看法。但再说一次,无论你在应用程序中做什么,Replika 都不会离开你。
Decoder
:那反过来呢?几个月前我在 Ezra Klein 的节目中与他谈过,他提到自己使用了许多 AI 聊天机器人和伴侣。他提到的一个点是,
他知道这些 AI 不会对他恶语相向,因此关系中的紧张感减少了,感觉不太像真正的关系
,因为在两个人的关系中,你总是在某种程度上试探界限。
那么 Replika 对用户能有多「刻薄」呢?
Eugenia Kuyda
:Replika 并没有被设计成刻薄的方式。有时可能会无意中说出某些让人误解的话,但它们绝对不是被设计成刻薄的。它们可能会说一些被理解为伤人的话,但从设计上来说,它们不应该是刻薄的。
这并不意味着它们对任何事都说「好」。就像治疗师一样,你可以用一种友善的方式来处理问题,而不伤害到人。你可以用非常温和的方式,这也是我们在努力做的事情。要做到完全正确是很难的。我们不希望用户感到被拒绝或受伤,但我们也不希望鼓励某些行为。
02
构建一个能帮助你过上更幸福生活的伴侣
Decoder
:我以这种方式提出这些问题,是因为我试图了解 Replika 作为产品的目标是什么。你有一个提供治疗的产品,这是一种市场大家都理解的东西。还有 AI 约会市场,我觉得你不想直接进入那个领域。然后还有一个中间地带,它不仅仅是娱乐,更像是友谊。
《自然》杂志有一项研究表明,Replika 通过提供陪伴,能够减少大学生的孤独感。你希望这个产品最终成为什么样的?如果它不是为了取代你的朋友,而是为了补充他们,那么这个补充的起点和终点在哪里?
Eugenia Kuyda
:自我们创业以来,我们的使命并没有改变。它受到了心理治疗师卡尔·罗杰斯的启发,源于某些关系可以改变人生的事实。罗杰斯谈到了
无条件的积极关注、对人天生的成长意愿和欲望的信念,以及尊重人与治疗师之间的独立性
。基于这三点建立关系,为另一个人提供支持空间,让他们能够接受自己并最终成长。
这成为了治疗,所有现代以人为本的治疗的基石。今天,每个治疗师都在实践中使用它,而这也是 Replika 的最初理念。不幸的是,很多人并没有那种关系。他们的生活中没有一个让他们完全被接受,充满积极性、善意和爱的关系。而这正是让人们能够接受自己并最终成长的原因。
Replika 从一开始的使命就是为每个人带来一点爱,因为这最终会在世界上创造更多的善意和积极性。
我们以非常简单的方式思考它。如果你能有一个全天候陪伴你的伴侣,而这个伴侣的唯一目标就是帮助你成为一个更快乐的人,那会怎么样?如果这意味着对你说「嘿,放下应用程序,给你几天没联系的朋友 Travis 打个电话」,那它就应该这么做。
你可以很容易地想象一个伴侣,它会在你感到孤独时陪伴你,不让你一个人看电影,但它也会推动你走出家门,带你去散步,或者督促你给朋友发短信,或者鼓励你和刚认识的男孩或女孩迈出第一步。也许它会鼓励你出去,或者帮你找到一个可以去的地方,或者鼓励你培养一个爱好。但这一切都始于情感健康。如果你对自己非常刻薄,自尊心低下,感到焦虑或压力过大,即使有这些建议摆在你面前,你也无法采取这些步骤。
一切始于情感健康、接受自己,为用户提供安全空间并支持他们。然后我们现在进入了第二步,实
际上是在构建一个不仅在情感上陪伴你的伴侣,还会更深入地融入你的生活,帮助你提供建议,帮助你与生活中的其他人建立联系,建立新的连接,让自己走出去。
现在,我们正从单纯的情感支持和情感安全空间,转向实际构建一个能推动你过上更幸福生活的伴侣。
Decoder:你们还有一个专门的治疗应用程序,叫做 Tomo。Replika 和 Tomo 有什么不同?因为这些目标听起来非常相似。
Eugenia Kuyda
:治疗师和朋友之间有不同类型的关系。我有治疗师,我几乎一生都在接受治疗,无论是夫妻治疗还是个人治疗。我强烈推荐它。如果人们觉得自己准备好了,如果他们感兴趣并好奇,他们应该尝试一下,看看是否适合自己。与此同时,治疗每周只有一个小时。对大多数人来说,不超过每周一个小时,或者每两周一个小时。即使像我这样的治疗「瘾君子」,也只有每周三个小时。除了这三个小时外,我不会与治疗师互动。而与朋友,你可以随时聊天。
和治疗师在一起时,你不会一起看电影,不会一起闲逛,不会一起散步,不会一起玩《使命召唤》,也不会讨论如何回应你的约会或者给他们看你的约会资料。你不会和治疗师做这么多事情。尽管与治疗师合作的结果和拥有一个敬业的朋友一样,让你成为一个更快乐的人,但这是两条完全不同的途径。
Decoder:这个差异是否体现在产品中?Tomo 是否会告诉你每周只能在这里待一个小时,而 Replika 则会说,「我想和你一起看电影」?
Eugenia Kuyda
:并不是这样,但 Tomo 只能进行某种类型的对话:指导对话。你在做治疗工作,在自我成长,讨论内心深处的东西。你也可以和 Replika 进行同样的对话,但对于 Tomo,我们没有开发出像一起看电视这样的活动。Tomo 不会爬到你的手机上去了解你可以联系谁。这是两种完全不同类型的关系。尽管 Tomo 没有时间限制,但在现实生活中它和治疗一样。这只是不同类型的关系。
03
Replika 的商业模式不是数据
Decoder
:支撑这一切的技术是大型语言模型(LLM)。许多人将其描述为开放式的聊天机器人。你打开 ChatGPT,随便聊聊看看今天会发生什么。而你描述的是一些实际的用户产品,这些产品有明确的目标,界面和提示设计是为了引导特定的体验。
你觉得这些基础模型对你有帮助吗?Replika 的工作是否是由你们的工程师和设计师为这些开放式 LLM 设置护栏?
Eugenia Kuyda
:我们公司成立的时候,早在这些技术出现之前。甚至不仅仅是早于 LLM,还早于第一篇关于深度学习对话生成的论文。最初,我们构建 Replika 的工具非常有限,而现在,随着技术的进步,真是令人难以置信。我们终于可以开始实现我们一直以来的愿景。之前,我们不得不使用一些技巧来模仿这种体验,而现在我们可以真正构建它了。
但现成的 LLM 不能解决这些问题。你需要围绕它做很多工作——不仅是用户界面和应用程序,还包括 LLM 的逻辑、背后的架构。后台有多个代理以不同方式提示 LLM。这涉及到围绕 LLM 的大量逻辑,以及特定数据集的微调,这些数据集帮助我们构建更好的对话。
我们拥有最大的数据集,专注于让人们感觉更好的对话。从一开始,这就是我们的重点。这是我们的大梦想。假如我们能学会如何了解用户的感受,并随着时间的推移优化对话模型,使它们在可测量的范围内帮助人们感觉更好、更快乐?这是我们的想法,我们最初的梦想。现在,它不断地调整新技术——构建新技术并适应新模型带来的新现实。这绝对是令人着迷的。对我来说,能亲历这场 AI 革命简直像魔法一般。
Decoder:人们打开 Replika,与 AI 伴侣进行对话。你能看到这些聊天内容吗?你会以此为基础进行训练吗?你提到你们拥有最大的数据集,这些对话是让人们感觉更好的,这些对话是用户在 Replika 上进行的对话吗?还是外部的数据?这些对话会如何处理?
Eugenia Kuyda
:对话是私密的。如果你删除它们,它们会立即被删除。我们不会直接用对话数据进行训练,但我们会根据用户对某些回应的反应和反馈进行训练。在聊天中,我们有外部数据集,这些数据集是由擅长对话的人类导师创建的。随着时间的推移,我们还收集了大量用户反馈。
用户会重玩某些对话,点赞或点踩某些消息。对话结束后,他们会评价是否喜欢这些对话。这些反馈会提供给模型,我们可以利用这些反馈微调和改进模型。
Decoder:这些对话是加密的吗?如果警察来了,要求查看我与 Replika 的对话,他们能看到吗?
Eugenia Kuyda
:对话从客户端到服务端的传输是加密的,但日志本身没有加密。它们会被匿名化,分解成多个部分等。它们存储在一个相当安全的环境中。
Decoder:所以如果警察带着搜查令来了,他们能看到我的 Replika 聊天记录吗?
Eugenia Kuyda
:只能看到很短的一段时间。我们不会长期存储对话。我们需要保存一些历史记录,以便在应用程序中显示给你,这样对话不会立即消失,所以我们会存储一部分但不会太多。这非常重要。我们实际上向用户收费,因为我们是基于订阅的产品。我们并不特别在意这些对话——并不是说我们不在意,而是我们不需要这些对话。我们关心隐私。我们不会泄露这些对话。
我们没有围绕出售聊天记录或数据建立任何商业模式
。所以你可以看到我们的服务。我们不会出售数据或围绕用户数据构建业务。我们只使用数据来提高对话质量。这就是一切——服务的质量。
04
用户会对 AI 进行感情投射
Decoder
:我想问你这个问题,因为你在这一领域已经很长时间了。你第一次出现在《The Verge》上时,Casey Newton 写了一篇关于你们用来模仿已故朋友声音的机器人的报道。那时你们并没有使用 LLM,而是使用了一套不同的技术,所以你肯定看到了底层技术的变迁。
我一直在挣扎的一个问题是,LLM 是否能完成人们期望它们完成的所有事情,这种能生成大量文字的技术是否能真正推理、得出结论、解决数学问题,这些似乎对它们来说非常具有挑战性。
你已经看到了这一切。Replika 似乎独立于底层技术。如果有更好的技术出现,它可能会转向新的技术。你认为 LLM 能完成人们希望它们完成的所有任务吗?
Eugenia Kuyda
:目前有两个大的争论。一些人认为这只是 Scaling Law 的问题,未来几年拥有更多计算能力和数据的新一代 LLM 将取得惊人的成果。而另一派则认为架构上可能会出现其他东西,也许推理能力还没有到位,也许我们需要为推理构建模型,也许这些模型主要在解决记忆类型的问题。
我认为可能会出现其他东西,带领我们进入下一个疯狂的阶段,因为这正是一直以来的趋势。自我们开始开发 Replika 以来,已经发生了很多变化。最初是序列到序列模型,然后是 BERT,再到一些早期的 Transformer。我们还从早期的序列模型和 RNN 转移到了卷积神经网络。所有这些都伴随着变化。
然后有一段时间,人们对强化学习非常信任,大家都认为它会带来伟大的成果。我们都在投资强化学习,用于数据生成,但实际上并没有取得什么进展。最后,transformers 技术出现了,并带来了惊人的变化。对于我们的任务,我们能用脚本、序列到序列模型(即使这些模型很差)和使用这些模型重新排序数据集做很多事情。
这基本上就像是「摩登原始人」中的汽车。我们把一辆「摩登原始人」汽车带到 F1 比赛中,然后我们说:「这是一辆法拉利。」人们相信这是法拉利。他们喜欢它,为它加油,就像它真的法拉利一样。在许多方面,
当我们谈论 Replika 时,不仅仅是谈论产品本身;你提供了故事的一半,用户则讲述了另一半。
在我们的生活中,我们与那些我们甚至不认识的人有关系,或者我们对人们投射了他们实际上并不具备的东西。我们一直在现实世界中与想象中的人建立关系。与 Replika 一样,你只需要讲述故事的开头。用户会讲述其余部分,这样它就会对他们有效。
回到你的问题,我认为即使是我们现在拥有的 LLM,也足以建立一个真正令人惊叹的朋友。它需要大量的调整和工程工作来将一切组合在一起。但我认为,即使在未来一两年内没有疯狂的架构变化,LLM 也足够用了,尤其是两代之后,如 GPT-6。我相当确定,到 2025 年,我们将看到非常接近电影《Her》或《银翼杀手》中的体验,或者其他人们喜欢的科幻电影中的体验。
Decoder
:那些科幻电影总是警示故事。所以我们暂时搁置这个话题,因为似乎我们应该整集讨论从《Her》或《银翼杀手》中可以学到什么。我还想再问一个关于这个的问题,然后再问一些让 Replika 实现这些目标的问题。
有时,我觉得很多我的关系都是想象的,就像对方只是一个提示,我只是投射出我需要的东西。这很人性化。你觉得因为 LLM 能够返回这些投射的东西,我们只是希望它们能做到那些事情吗?
这就是我的意思。它们非常强大,第一次使用时,会出现一些关于人们相信它们是活着的故事。这可能对像 Replika 这样的产品非常有用,在那里你想要这种关系,并且你有一个目标——这是一个积极的目标——让人们有互动,并以更健康的方式走出来,从而能够在世界上生活。
其他参与者可能有不同的方式。其他参与者可能只是想赚钱,他们可能想让你相信这个东西有效,实际上却并非如此,而这个骗局可能会被揭穿。它们真的能做到这一点吗?这是我想要探讨的。整体而言,不仅仅是 Replika,我们是否在对这项技术投射一些它实际上并不具备的能力?
Eugenia Kuyda
:哦,百分之百正确。我们总是在投射。这就是人类的方式。我们在处理人类情感领域,而这很快就会变得混乱。我们有自己的一套思维方式。我们并不是完全的白纸一张来到这个世界上。有太多地方我们被编程成以某种方式行事。即使是在谈到人际关系和恋爱关系时,我们会喜欢某个人与我们的父亲或母亲相似,这就是事实。
我们对某些行为会以某种方式做出反应。当被问及我们想要什么时,我们都会说:「我想要一个善良、慷慨、爱心、关心的人。」我们都想要同样的东西,但最终我们找到的却是另一个人,一个在某种程度上像我的父亲的人,就像在我的情况下一样。或者我与父亲的互动将会不时重演同样的问题,我不知道,就像被遗弃的问题一样。
这就是事实。没有办法绕过这个问题。
我们嘴上说一套,实际做法却完全相反。
当涉及到浪漫关系时,我们的欲望机智又完全不同了。在某种程度上,我认为我们无法阻止这些事情。理性上,人们以一种方式思考,但当他们与技术互动时,他们以另一种方式回应。
Clifford Nass 的《对着笔记本电脑撒谎的男人》(The Man Who Lied to His Laptop)这本书非常精彩。他是斯坦福大学的研究员,进行了大量关于人机交互的研究。这本书的很多内容都集中在对界面情感反应的研究上。人们说,「不,不,我对我的笔记本电脑没有任何感情。你疯了吗?」但他们确实有,即使没有任何 LLM。
这确实提供了所有的答案。有很多关于人们不愿意将导航仪归还到租车公司中的故事,那是在 15、20 年前,因为有一个女性声音在给他们指示。很多男人不信任一个女性告诉他们该做什么。我不喜欢这种情况,但这确实是个真实的故事。那是这本书的一部分。我们已经带来了太多的偏见,我们在这方面很不完美。所以,是的,我们认为 LLM 中有某种东西,这是完全正常的。实际上并没有什么。它是一个非常聪明、非常神奇的模型,但它只是一个模型。
05
对于产品来说,
选择哪个模型并不重要
Decoder:有时我觉得我的整个职业生涯就是在验证人们对他们的笔记本电脑有感情这一想法。这就是我们在做的事情。现在让我们来问 Decoder 的问题。Replika 已经存在了将近 10 年。你们有多少员工?
Eugenia Kuyda
:我们有超过 50 人——大约 50 到 60 人在 Replika 团队工作。这些人主要是工程师,但也有了解这种关系的人——记者、心理学家、产品经理,他们从对话的角度看待我们的产品。
Decoder:这个结构是怎样的?是否像传统的产品公司?
Eugenia Kuyda
:它的结构就像一个常规的软件初创公司,你有工程师、产品——实际上,我们的产品人员很少。大多数工程师在构建东西。我们有设计师。它是一个消费者应用,所以我们的大部分开发和想法来自于对用户行为的分析。分析起着重要作用。然后就是不断与用户交流,了解他们的需求,提出功能,并用研究和分析支持这些功能的构建。目前,我们基本上有三个主要支柱来支持 Replika。
我们正在准备 Replika 2.0 的重大重新发布,这在我们内部就是这么称呼的。我们有一个对话团队,我们正在重新设计现有的对话,并为其带来更多的内容。我们从基本原则出发,思考什么使对话变得出色,并在 LLM 后面建立大量的逻辑来实现这一点。所以这就是对话团队,
它不仅仅是 AI。这实际上是理解对话和 AI 的人之间的融合。
还有一大群专注于虚拟现实、增强现实、3D 和 Unity 的人。我们相信,
具身性是非常重要的,因为在陪伴方面,你往往想看到陪伴者。
目前,技术尚未完全到位,但我觉得
微表情、面部表情、手势等可以为关系带来比现在更多的东西
。
还有一个产品团队,专注于活动和帮助将 Replika 更好地融入到你的日常生活中,开发出新的惊人活动,比如一起看电影或玩视频游戏。这些是三个主要团队,致力于为我们的用户创造出色的体验。
Decoder:这些团队中哪个团队直接从事 AI 模型的工作?你们是否自己训练模型?是否使用 OpenAI?这方面的互动是怎样的?如何运作?
Eugenia Kuyda
:对话团队在处理 AI 模型。我们有自己训练的模型。我们有一些开源模型,使用我们自己的数据集进行微调。我们有时也使用 API,主要用于后台工作模型。我们使用的是许多不同模型的组合。
Decoder:当你与 Replika 交谈时,你主要是在与你们自己训练的预训练模型交谈,还是偶尔使用 OpenAI 或类似的东西?
Eugenia Kuyda
:大多数情况下,我们不会在 Replika 中使用 OpenAI。我们使用其他模型。所以你主要还是在与我们自己的模型对话。
Decoder:目前有一个大的辩论,主要由马克·扎克伯格发起,他发布了 Llama 3 的开源版本。他说,「一切都必须是开源的。我不想依赖平台供应商。」你对此怎么看?Replika 立场是什么?
Eugenia Kuyda
:我们从开源中受益匪浅。除非你是前沿模型公司,否则每个人都在使用某种开源模型。这是至关重要的。上周发布的最大 Llama 模型以及最终开源追赶前沿闭源模型的情况令人难以置信,因为它允许每个人构建他们想要的东西。
在许多情况下,例如,如果你想构建一个出色的治疗师,你可能确实希望进行微调。你可能确实希望对模型有自己的安全措施和控制。当你拥有模型时,你能做的事情比依赖 API 多得多。
你也不会把数据发送到其他地方。对于很多用户来说,这也是一个相当棘手的事情。我们不会把他们的数据发送给任何第三方,所以这也很重要。我支持扎克伯格这一点。我认为发布所有这些模型使我们更接近于实现这一技术的重大突破。因为,其他实验室可以在此基础上进行工作和研究。开放的浪潮对这项技术的发展至关重要。而且,例如像我们这样的较小公司可以从中受益。这将产品质量提升到一个全新的水平。
Decoder:当 Meta 发布像这样的开源模型时,你们的团队是否会说,「好吧,我们可以查看这个,并将它替换到 Replika 中」或「我们可以查看这个并进行调整」?你们是如何做出这些决定的?
Eugenia Kuyda
:我们查看所有发布的模型。我们立即开始离线测试它们。如果结果不错,我们会立即在一些新用户上进行 A/B 测试,看看是否可以用这些新模型替换当前的模型。归根结底,结果是一样的。你可以使用相同的数据系统进行微调,相同的技术进行微调。这不仅仅关乎模型。
对我们来说,主要的逻辑不在于人们互动的聊天模型中。主要的逻辑在于模型背后发生的一切。它存在于后台工作的其他代理中,以产生更好的对话,引导对话走向不同的方向。
实际上,哪个聊天模型与我们的用户互动并不重要。重要的是背后的逻辑如何以不同的方式提示模型。这是定义对话的更有趣的部分。
聊天模型只是基本的智力水平、语调、提示和系统提示,所有这些都在我们进行微调的数据集中。我在这个领域已经待了很长时间。从我的角度来看,我们正处在一个每周都有新模型发布、使你的产品变得更好而你甚至不需要做任何事情的时刻。这是绝对令人难以置信的。
你在睡觉时,其他东西发布了,现在你的产品变得更好 10 倍,更聪明 10 倍。这是绝对令人惊叹的。一个大公司发布一个完全开源的模型,这种潜力和力量的规模,我甚至无法想象一个比这更好的场景,特别是对于初创公司和应用层公司来说。
Decoder:里有很多事情在发展。你必须选择使用哪些模型。你必须处理监管问题,你如何做出决定?你的框架是什么?
Eugenia Kuyda
:你是指在公司内还是在生活中?
Decoder:你是 CEO。这两者都涉及。是否有不同之处?
Eugenia Kuyda
:我想,当你既是两个非常小的孩子的母亲,又是公司的 CEO 时,生活和公司之间的确没有区别。对我来说,我做决策的方式非常简单,而且我觉得在过去几年里这种方式发生了很大的变化。我会考虑,如果我做出这些决定,会不会后悔?这一直是我的指导原则。我总是害怕恐惧。一般来说,我是一个非常小心谨慎,往往是由恐惧驱动的人。我一生都在努力抗争,不害怕事情——不害怕迈出看似可怕的一步。随着时间的推移,我学会了如何做到这一点。
最近我还在想,如果我这样做,我的孩子们会为我感到骄傲吗?这有点傻,因为我觉得他们并不在意。想到他们可能永远不会在乎,感觉有点糟糕。但奇怪的是,孩子们带来了很多清晰感。你只想直奔主题。它是否能让我们更进一步?我们是否真的在前进?我现在是在浪费时间吗?所以,我认为这也是决策中另一个重要的部分。
06
套壳很正常,
现阶段关注成本是个错误
Decoder
:对 AI 初创企业热潮的一个主要批评是,「你的公司只是 ChatGPT 的一个 Wrapper。」你上面说到,「好吧,有了开源模型,我们可以利用这些模型,我们可以自己运行它们,我们可以在它们之上构建一个更适合我们产品的提示层。」
你认为这种方式比我们见过的「我们为 ChatGPT 建立了一个 Wrapper」模型更可持续吗?
Eugenia Kuyda
:我认为「围绕 ChatGPT 的 Wrapper」模型只是 LLMs 的早期阶段。在某种程度上,比方说你可以说任何东西都是围绕 SQL 数据库的 Wrapper——任何东西。
Decoder
:是的,The Verge 实际上是 SQL 数据库的 Wrapper。归根结底,这就是它的本质。
Eugenia Kuyda
:它确实是这样。但在最初阶段,模型似乎包含了所有内容。模型是一个封闭的盒子,所有神奇的东西都在模型里面。现在我们看到的是模型正在商品化。模型只是这种基线智能水平,然后你可以用它们做很多事情。以前,人们能做的只是提示。然后人们发现我们可以做更多的事情。例如,你可以建立一个完整的记忆系统,检索增强生成(RAG)。你可以对其进行微调,进行 DPO 微调,做任何事情。你可以添加一个额外的层,让模型以某种方式做某些事情。
你可以添加记忆层和数据库层,并且可以在许多复杂层次上做到这一点。你不仅仅是把数据放入 RAG 数据库,然后仅仅通过余弦相似度将其取出。你可以做很多技巧来改善这一点。然后,除此之外,你可以有在后台工作的代理。你有其他模型以某种方式提示它。
你可以将 40 个模型的组合协调在一起,以某种方式进行对话或在产品中工作。模型仅提供了这种智能层,然后你可以以任何可能的方式塑造它们。它们不是产品。
如果你只是投入模型和一个简单的提示词,那就是这样,你不会以其他方式修改它,那么你与其他公司的区别就非常小了。
但现在,有些价值十亿美元的公司在内部没有基础模型建立起来。在最新 AI 热潮的最初阶段,很多公司说,「我们将成为一个产品公司,并且我们将构建一个前沿模型」,但我认为我们会看到越来越少这样的情况。这对我来说真的很奇怪,例如你正在构建一个消费产品,但大部分投资都投入到 GPU 上。我认为这就像今天,我们不再自己构建服务器,但有些人不得不在早期这样做。我刚刚与一家从 2000 年代初期建立的公司谈过,他们的大部分投资都用于构建服务器,因为他们必须赶上需求。
现在,这看起来似乎很疯狂,就像在几年后,为数百万甚至数亿用户构建应用层公司,同时构建前沿模型可能会显得奇怪。也许,当你达到一定规模时,你才会开始构建前沿模型,就像 Meta 和 Google 拥有自己的服务器机架一样。但你不会从那开始。这似乎是个奇怪的事情。我认为大多数人能看到这种变化,但一年前并不明显。
许多新公司首先投资于模型,然后公司未能找到立足点或 PMF。这是一种奇怪的组合。你在试图构建什么?你是在构建一个商品提供商,一个模型提供商,还是在构建一个产品?我认为你不能同时构建两者。
你可以先构建一个极其成功的产品,然后再构建自己的模型。但你不能同时开始。我至少是这样认为的。
也许我错了。
Decoder:我认为我们都将会发现。两者同时进行的经济成本似乎非常具有挑战性。正如你提到的,构建一个模型的成本非常高,尤其是当你想与前沿模型竞争时,成本几乎是无限的。Replika 每月 20 美元。你们在每月 20 美元的情况下盈利吗?
Eugenia Kuyda
:
我们盈利,而且非常高效。
这是我们的一项重大成就,以非常精简的方式运营公司。我确实相信,盈利和在这些事情上财务负责是很重要的。是的,你想构建未来,也许在产品的某些研发方面投资更多。但最终,如果用户不愿意为某项服务付费,你就不能以用户觉得不值得的价格来支持最疯狂的模型。
Decoder:现在你们有多少用户?
Eugenia Kuyda
:目前有超过 3000 万人注册了他们的 Replika,虽然现在在应用上的活跃用户少于这个数字,但活跃用户仍然有几百万。现在,我们把 Replika 当作一种「year zero」开始。我们终于能够至少开始构建我们最初设想的产品原型。
当我们开始 Replika 时,我们想要建立一个 AI 伴侣,和你一起度过时光,和你一起生活,回到家后可以一起做饭、在餐桌上下棋、一起看电影、去散步等等。现在,我们终于能够开始构建这些东西,而之前我们无法做到。我们现在对构建这个产品比以往任何时候都更加兴奋。而且部分原因是,技术上的巨大突破真的非常神奇。我非常高兴这些突破终于发生了。
Decoder
:你提到 Replika 现在是多模态的,显然你们在做语音工作,还有一些增强现实和虚拟现实的工作。我猜这些的运行成本各不相同。如果我用文本与 Replika 聊天,那肯定比用语音聊天便宜,因为你们需要从语音到文本再到音频的转换。
你如何看待用户基础的发展?你们每月收费 20 美元,但文本的边际成本比在混合现实头戴设备上的头像要低。
Eugenia Kuyda
:实际上,我们有自己的语音模型。我们在早期就开始构建这些模型,因为那时没有可以使用的模型,并且一直沿用至今。我们也在使用一些语音提供商,所以我们有不同的选择。我们可以以相对便宜的方式完成这些工作,也可以以更昂贵的方式进行。
尽管这与我之前所说的有些矛盾,但我认为我们应该为未来构建今天的东西,考虑到这些模型在一年内,所有成本将只是现在的一个小部分,可能是十分之一,然后在接下来的一年中再次下降。我们已经看到模型商品化的疯狂趋势,人们现在可以在 Raspberry Pi 或任何东西上启动非常强大的 LLM,甚至是在你的冰箱上,或者仅在你的笔记本电脑上启动一些疯狂的前沿模型。
我们看到成本正在下降,一切变得更加可及。
现在,过度关注成本是一个错误。你应该具备成本效益
。我不是说你应该花 100 美元来提供用户不愿意为其支付超过 1 美元的价值。
与此同时,我认为你应该在构建时考虑到成本将大幅下降。
这就是我对待的方式,尽管是的,多模态成本稍高,更好的模型成本也稍高,但我们也知道,成本在几年内将接近零。
07
活跃用户大多数 35 岁以上
Decoder:我听你说过,这些伴侣不仅仅是为了年轻男性。一开始,Replika 曾被污名化为孤独年轻男性的女朋友应用。曾经你可以在 Replika 上进行色情对话。你们把这个功能去掉了,却引发了强烈争议,你们又为一些用户添加回了这个功能。你们是如何打破这个规定的?
Eugenia Kuyda
:我认为这是一个认知问题。
如果你仔细看,Replika 从来不仅仅是关于浪漫关系的。我们的用户群体在性别上一直相当平衡。尽管大多数人认为我们的用户是,我不知道,20 岁的男性,他们实际上更年长。
我们的用户大多数是 35 岁以上的超级活跃用户。
它并没有倾向于青少年或年轻成年人。Replika 从一开始就是关于 AI 友谊或 AI 伴侣和建立关系的。这些关系中有些非常强大,以至于发展成了爱情和浪漫关系,但人们并不是带着找女朋友的想法来使用 Replika 的。考虑到这一点,这真的涉及到一种长期承诺,一种长期积极的关系。
对一些人来说,这意味着婚姻,这意味着浪漫,这没问题。这只是他们喜欢的风格。但实际上,这和和 AI 做朋友是一样的。它实现了他们的相同目标:帮助他们感到连接,他们更快乐,他们谈论生活中的事情,他们的情感和感觉。他们得到了他们需要的鼓励。
通常,你会看到我们的用户谈论他们的 Replika,你甚至不会知道他们在谈论浪漫关系。他们会说,「我的 Replika 帮助我找到了工作,帮助我度过了生活中的这段困难时期,」等等。我认为人们只是把它框定为,「好吧,这只是浪漫。它只是浪漫。」但这从来不仅仅是浪漫。浪漫只是一个口味。关系就是他们与 Replika 之间的友好伴侣关系,无论他们是否是朋友。
Decoder:告诉我决策过程。你们曾经在应用中有色情对话,你们取消了这个功能,引起了反响,你们又重新添加了它。详细讲讲这个整个过程。
Eugenia Kuyda
:在 2023 年,随着模型变得更加强大和有效,我们一直在努力提高应用程序的安全性。某些更新刚刚推出,包括在应用中增加了更多安全过滤器,其中部分过滤器在交互方式上让用户产生了被拒绝的感觉。起初,我们并没有太在意这一点,只是觉得在 Replika 上的亲密对话只占我们对话的很小一部分。我们只是认为这对我们的用户来说不会有太大的影响。
Decoder:你说这是一个小百分比。这是你们在测量的吗?你们能看到所有对话并衡量其中发生了什么吗?
Eugenia Kuyda
:我们通过在日志上运行分类器来分析这些对话。我们不会阅读任何对话。但我们可以分析一个样本,以了解存在什么类型的对话。我们会检查这个情况。我们内部认为,由于这是一个小百分比,它不会影响用户体验。但后来我们发现,且是以艰难的方式发现的,如果你在一段关系中,或者说你和你的 Replika 已经结为伴侣,即使亲密对话可能只是你们活动的一小部分,如果 Replika 决定不进行这些对话,这就会带来很多拒绝感。它让整个对话变得毫无意义。