趁着假期快结束的贤者时间聊聊大模型。
一、大模型目前所具备的能力，包括ChatGPT和最近火热的sora，我认为本质上提供的还是检索能力，只是检索的方式从早期的“关键词匹配”、“特征（向量）匹配”进化到了“标记(token)预测”，虽然输出的结果看起来像是那么回事，但本质上，输出结果还是来自于训练数据，从预先训练的海量的数据里预测符合这个输入的对应输出，只是输出的精度达到了标记(token)级别之后，把不同token组合起来的可能性也足够多，多到甚至有那么点原创的意思。
因此从原理上来说，我认为现阶段大模型最好的应用场景还是检索，无论是检索型的私人助理，还是检索型的内容创作辅助工具，包括对输入内容的模板化的处理，只要能在已知且有限的数据集内检索到的问题，都是合适的。
即使这样，大模型目前从原理来说，并不具备推理能力、更不具备情感。也就意味着单纯依靠大模型很难避免它胡扯（幻觉），并且也生成不了训练数据之外的内容。因此，目前大模型还只能作为被人使用的工具，而不能替代一个逻辑人，更别说替代一个有情感的活人了。
作为检索能力，早些年搜索引擎依靠关键词匹配能力直接打开了互联网时代，后来推荐引擎靠着特征匹配又横扫了一轮互联网，大模型依靠标记预测应该能再掀起一次风浪，只是没有很多人说的那么邪乎。
二、很多人看着各种大模型开源了之后就觉着下个开源时代来了，我认为目前的大模型跟开源社区的最终发展结果是相悖的。早期开源运动兴起时，个人主机和廉价冗余服务器逐渐普及，软件的核心是代码，开放代码之后，所有人都可以在此基础上进行修改、部署和分发；而目前的大模型则依赖于数据和算力，集市模式的开源社区很难具备两个条件。
一、大模型目前所具备的能力，包括ChatGPT和最近火热的sora，我认为本质上提供的还是检索能力，只是检索的方式从早期的“关键词匹配”、“特征（向量）匹配”进化到了“标记(token)预测”，虽然输出的结果看起来像是那么回事，但本质上，输出结果还是来自于训练数据，从预先训练的海量的数据里预测符合这个输入的对应输出，只是输出的精度达到了标记(token)级别之后，把不同token组合起来的可能性也足够多，多到甚至有那么点原创的意思。
因此从原理上来说，我认为现阶段大模型最好的应用场景还是检索，无论是检索型的私人助理，还是检索型的内容创作辅助工具，包括对输入内容的模板化的处理，只要能在已知且有限的数据集内检索到的问题，都是合适的。
即使这样，大模型目前从原理来说，并不具备推理能力、更不具备情感。也就意味着单纯依靠大模型很难避免它胡扯（幻觉），并且也生成不了训练数据之外的内容。因此，目前大模型还只能作为被人使用的工具，而不能替代一个逻辑人，更别说替代一个有情感的活人了。
作为检索能力，早些年搜索引擎依靠关键词匹配能力直接打开了互联网时代，后来推荐引擎靠着特征匹配又横扫了一轮互联网，大模型依靠标记预测应该能再掀起一次风浪，只是没有很多人说的那么邪乎。
二、很多人看着各种大模型开源了之后就觉着下个开源时代来了，我认为目前的大模型跟开源社区的最终发展结果是相悖的。早期开源运动兴起时，个人主机和廉价冗余服务器逐渐普及，软件的核心是代码，开放代码之后，所有人都可以在此基础上进行修改、部署和分发；而目前的大模型则依赖于数据和算力，集市模式的开源社区很难具备两个条件。
