ChatGPT 应用感想

待字闺中 · 公众号 · 程序员 · 2023-06-15 18:46

正文

时间过得很快，距离上一次写《我在用ChatGPT做什么？》已经过去2个月。这段时间里，技术日新日异，有很多大模型出来，有很多技术 paper 发表。

但目前为止能用的还只有 ChatGPT（模型是GPT3.5和4，我一直没用上克劳德，所以这里可能绝对了）。我并没有说好用，在我要解决的一些问题里，能用对我来说就够了。

大家一致的认为 ChatGPT 的推理能力是最强的，但似乎大家也不太能说得清楚，到底什么是推理能力。我用得最多的不知道是不是推理能力，我一般称之为上下文学习的能力。

所以，GPT4 出来的时候，我并没有付费使用 GPT4，因为我的需求已经可以满足了。直到 ChatGPT 的插件功能出来之后，我才开始升级了 plus，因为一些插件，确实有一些帮助，但是插件整体上，我的感觉是这种形式不好。

原因很简单，很多场景，并不需要先进入 Chat 的场景。有一些别扭。

最近一次 openai 更新，加强了 API 的能力，比如 embedding 降价，新的模型、更大的上下文等，这些对基于 API 做应用的小伙伴来说都非常好。是否是插件，并不一定。这里看，我觉得 openai 自己也意识到从前到后都自己做了，和市场不大匹配。这个利好更多的开发者。

比如更大的上下文，对于我们是否能在向量数据库中找得很准的依赖就没那么强了。当然，我们要花更多的钱。

有一个问题一直笼罩在国内的的开发者头上：如果我们做基于 ChatGPT的应用，大厂那么多资源，我们怎么竞争。这两个月下来，我的感受是，大厂可能比以前讲究了，不会直接套壳 ChatGPT，别的模型有没有 ChatGPT 的能力，反而是开发者的机会。

下面开始逐个说一些体验，想到哪里就说到哪里。

对我来讲，首要的不是训练大模型，更多的还是在找场景和产品设计，到底哪些场景的应用会比较合适。这种思考和从技术上深入去训练大模型是不同纬度的，会让我更加冷静的看待日新日异的技术变化。

首先，我更加确定了自己产品的know-how是最重要的，然后 ChatGPT 是一个有效的实现手段——比如 ChatGPT 懂人话、说人话的特点。

这里没有 ChatGPT，有 XXXGPT 也是可以的，只要具备了某些能力。但如果我们没有自己的 know-how，ChatGPT 就可以回答，那我们自己做产品的意义是什么呢？

大模型很厉害，但也不应该过度使用。我看过一个人力资源行业的例子。用国内某个开源大模型微调做候选人简历和职位的匹配。这个大模型是可以做的，得益于大模型对语义的理解，我们调用一次 API 就可以完成，如下图：

这是我随意做的一个例子，条件没有那么复杂，但已经可以充分的展示出效果了——看起来效果不错，但这件事，用传统的机器学习的技术也可以做得很好，而且成本更低。从企业的角度来说，选择哪一个呢？

根据前面一点来说，我们对招聘流程进行效率提升、效果提升，关键know-how大概率并不在这里通过大语言模型进行人和岗的匹配。

下面说点让人激动的。ChatGPT 懂了人话之后，知识库的组织方式就灵活了，不再想以前本题库、知识图谱那么死板。我还记得陆奇博士的的演讲：“just don’t do that。Just pretty bad。It does not work at all。You should use Transformer。”

如果已经有了知识图谱，和 ChatGPT 并不矛盾。如果没有，还想从头构建知识图谱，那么请放弃。我们可以用 ChatGPT 来做我们的助手，以更加高效的方式组织我们的知识。

我们的知识表现为文本，我们构建知识图谱的时候，已经有损耗了，怎么可能在使用的环节，发挥原有的力量呢？ChatGPT 可以——这是一种有效的压缩。

这里有一个问题，就是如果用 ChatGPT，知识是不是就相当于给别人了——是的。不想失去自己对知识的所有权，只能等开源模型及格之后，在自己的本地训练大模型。

技术趋势是这样，等一等，但是不是能超越GPT4？不大可能，今天我在twitter上看到一个说法：开源的大模型只能从表面的现象上学习闭源大模型的技巧，但是闭源大模型可以学习到开源大模型的所有的技巧，所以差距是在拉大，不是缩小。

我帮几个团队做了这个事情——构建了自己的知识库——他们不在意自己的资料泄露，因为这并不是关键的know-how。局部提升用户体验，也有价值，但感觉不高。

我觉得现在最有价值的是，没有 ChatGPT 做不到，但 ChatGPT 自己也做不到的领域。我举个例子，陪伴这个大的方向，国外有 character.ai，国内有 Glow，产品我体验过，Glow 用得更多一些。

我没有被陪伴到，倒像是我在陪着他们，他们非常的自我，按照特地的模式，一句一句的输出，根本不能以懂我的方式回应我。倒是需要我懂它。

更可气的是，一些朋友和我说，你的 prompt 写的不好，Prompt 写好了就可以了。真的需要转换一下思维，陪伴不是一个劲的需要我懂它，是我需要陪伴，不是它需要陪伴。

Prompt 能给上下文，但是不能带来新的能力，大模型本身不具备心理层面的懂的能力，费劲心思改的 Prompt 也只是局部像那么回事，泛化并不好。

再聊点 ChatGPT 的插件，我最近用得很多。最大的帮助是对我看论文和文生视频。

看论文，扔一个 pdf 上去，连翻译、带摘要，细节的步骤，统统搞定，我看论文的效率高了很多，能更快的知道我要去论文里看哪些，也能更快的确定，我是不是需要深入这篇论文。这里我用的是 askyourpdf。

ChatGPT 应用感想

正文

请到「今天看啥」查看全文