主要观点总结
文章主要描述了作者对于AI技术发展的感慨和思考。文章通过作者旧文的重见天日,引发了对AI世界的想象和探索,以及AI大模型和向量数据库的运用,带来对AI技术冲击的震撼体验。
关键观点总结
关键观点1: AI技术的发展给作者带来了强烈的冲击和震撼。
作者通过旧文被AI技术重新发现,体验了AI世界的新奇和不可思议,对AI技术的运用有了更深入的理解。
关键观点2: AI大模型和向量数据库的运用。
作者介绍了在公众号后台运行的AI大模型和外挂的数据库,通过向量数据对比几个句子、段落、文章之间的相关程度,提高了搜索内容的效率。
关键观点3: AI技术在检索增强生成(RAG)中的应用。
作者详细解释了RAG的工作原理,通过非标准数据转化为向量数据,查找相关数据并进行排序,然后合并读者听闻构成新的提示语,最后输入AI进行运算,给出答案。
正文
昨天,在回答一位读者提问的时候,我的AI 助手把我近十一年前的一篇旧文给翻了出来,标题是《
星光满天
》。
一般来说,我不会去翻看自己之前的文章,因为要节省精力和心情去想明天的下一篇。而回头望很耽误时间,有时候也会很消耗心力。所以,这篇文章写好之后,我自己也有十年时间再没看过。
今天我的心境和2014 年时已经截然不同。世事变迁,远超预期,我抵达了当初心中所思所想的未来,抵达时发现当初自己关心的人和事已经无关紧要。在一转身之间,我此刻想要问的问题是:当初的那个人去了哪里?当初那个人的那份心境又去了哪里?很奇妙,我不再关心当初的未来,也不想用那时的想法和现在的现实做比较。
十年前当我还在更新公众号文章的时候,绝对无法预见今天的 AI 世界。也绝对不会想到,一篇我自己都已经遗忘了的旧文,是通过 AI 而非传统搜索引擎得以重见天日。这个变化本身给我带来的情感冲击,要比香格里拉野外摇摇欲坠的星光,或者是大洋深处一只呼错频率的鲸鱼要强烈得多。
以前所不知道,以前所无法想象的新技术出现了:RAG,检索增强生成(Retrieval-augmented Generation)。此刻,在我的微信公众号后台,有一个 AI 大模型在运行。但它是一个通用模型,对我和我的文章根本不熟,所以问它问题,它会胡说八道,术语叫做 AI 幻觉。和某个人胡编乱造我的生平没什么不一样,最近我看到的新说法是我毕业于中文系。不熟悉我的人听了也就信了,因为我写文章,毕业于中文系听起来很合理。但是对于我和熟悉我的读者而言,这种幻觉就很刺眼。
所以,针对我的个人公众号,AI 大模型还外挂了一个数据库。这个数据库里储存了从我开设公众号以来的大部分文章,AI 能够辨认和收录的大约有 3000 多篇。这 3000 多篇文章被切片之后,通过特定算法转换为一系列向量数据,然后以向量数据形式储存起来。
你不需要知道什么是向量数据,只需要知道利用向量数据,可以对比几个句子、几个段落、几篇文章之间的相关程度。它不再是传统的逐字逐句比对,而是把文字、图片、视频这些非标准信息变成空间上的一个点,然后计算不同的点之间是远是近,用来归类。再计算这些点各自和原点形成的线之间夹角是多少,用来找相似。所以,它搜索内容的时候可以轻易找到那些有内在关联的内容。
当读者在公众号后台输入问题,AI 会把问题送去向量数据库里进行查询,把相关的历史文章内容全找出来,根据远近、类似程度排序。也就是说,AI 通过向量数据库,可以把读者提问可能涉及到的上下文全部找出来,根据相关性重新排序。然后,历史文章的片段排序完毕,和读者问题合并起来,再扔给 AI 大模型去理解、运算,组合成答案。这样一来,因为大模型的回答利用了那些我写的文章,而且是高度相关的文章,于是回答中的幻觉就少了很多,给人的感觉也就越发有效和精准。
比如,昨天有个读者查询一篇文章,我的 AI 助手给出两个不同的链接,但是文章内容一样,只是标题不同。读者就问,为什么同一篇文章会有两个链接,为什么会起两个标题?AI 的回答让我震惊。
AI 明显是阅读了第三篇我的文章,完美地回答了我在很久之前的恶作剧:我先写了一篇文章,因为标题平平无奇而无人问津,于是第二天我原文重发一遍,但是改了一个那种流行的网络震惊体标题,用来调戏读者。事后,我又得意洋洋地写了一篇文章来解释这件事,对比两篇文章的数据---AI 把这三篇文章的内容全部都抓取到了,而且也「理解」了三篇文章之间的关系,并在这种「理解」的基础上给出了正确的答案,仿佛它才是我最忠实,记忆力最好的读者。
这种非标准数据转化为向量数据---查询向量数据库找相关数据---相关数据排序---合并读者听闻构成新的提示语---新提示语输入 AI 进行运算的查询方式,就是 RAG,检索增强生成。因为 RAG 的存在,使得我一篇十年前的文章重见天日,也使得我再次换了一种目光去面对 AI。
香格里拉郊外的星光深邃神秘,大洋深处的鲸鱼鸣叫声孤独愤懑,它们都给我带来了对于未知的冲击。AI 也一样,它用一种之前我所不知道,知道了又需要从头努力理解的新方式,实现了某种类似思考和分析的过程,然而我仔细拆分它的每一个步骤,却又没有发现任何和我所理解的智能相关的东西。
当一个读者输入了他的问题,在几千公里外的某个机房里绿灯突然开始闪烁,硬盘嗡嗡作响,AI 并不理解问题的意涵是什么,也并不能从数据里看到星光,听到鲸鸣,它只是开始按照设定进行查询、排序、运算,然后给出那位读者所需要的答案,它甚至也不理解答案具体是什么,只是给出一连串字符的组合,每一个排列都基于计算和估计---
这同样给我带来了强烈的冲击和震撼,就像是当初星光并不知道我的存在,我也并不在鲸鱼的视野之中,但是这种遥远,这种漠然,这种不以为意越发让我觉得摇摇欲坠,如遭电击---来自另外一个维度的存在,它们在我身上不经意之间留下的投影,让我窥见世界的隐秘一角。
Prompt:
a cup of coffee, --sref 2061255413
--v 6.1
个人转载内容至朋友圈和群聊天,无需特别申请版权许可。
《长日逐夜行
》
南派,这张《
春困
》送给你。