专栏名称: GiantPandaCV
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
目录
相关文章推荐
GiantPandaCV  ·  AwesomeCLIP---100+篇CLI ... ·  2 天前  
GiantPandaCV  ·  小白视角:利用 vllm serve 新的 ... ·  4 天前  
GiantPandaCV  ·  小白视角:利用 SGL 来 Serve ... ·  6 天前  
GiantPandaCV  ·  小白视角:vllm 迁移到 SGLang ... ·  1 周前  
51好读  ›  专栏  ›  GiantPandaCV

将GLM-4-Plus大模型应用到Cursor中

GiantPandaCV  · 公众号  · 3D  · 2024-10-12 00:00

正文

0x0. 前言

笔者关注智谱很久了,对智谱的模型也很心动,一方面动力不足,另一方面限于token等问题一直没来得及体验,没想到国庆月的到来,智谱直接发出了“绝杀技能”。

智谱开放平台bigmodel.cn直接送上1亿 tokens 资源福利!还直接上线了以基座大模型GLM-4-Plus为核心的智谱全模型家族。GLM-4-Plus作为智谱迄今最强大的模型,不仅是智谱全模型家族的坚实能力底座,还拥有与国际顶尖模型GPT-4相媲美的实力。在SuperBench等第三方评测中的出色表现,使其跻身国际第一梯队。

特别值得关注的是新上线的GLM-4-Plus-VideoCall API,它是清言视频通话背后的核心模型,能实现视频通话、语音多轮交互等多种跨模态能力,有望成为推动人机交互革新的重要力量,目前处于内测阶段,测试需扫码申请。

既然如此,就让我们一起来看看GLM-4-Plus通过API接入cursor做编程助手效果如何吧!

0x1. 认识GLM-4-Plus

首先,在官方发布的结果中(如下图所示),在语言理解,长上下文处理以及图像理解,视频理解各个方向,GLM-4-Plus相比于GPT-4o/Claude 3.5 Sonnet都具有很强的竞争力。

除了这份评测,在 OpenAI o1系列成色如何?SuperBench9月综合榜单揭晓 和AI大模型横评-8月update(https://zhuanlan.zhihu.com/p/717410114)两个第三方评测中GLM-4-Plus都取得了非常有竞争力的结果,和GPT4-o位于同一梯队。除了在各种榜单上的性能之外,我们个人用户更加关注的是API的性价比以及实际的使用体验,我们关注一下这几款新模型的定价:

可以发现GLM-4-Plus等模型在性价比上取得了很大的进步。

0x2. GLM-4-Plus 简单体验

这里对 GLM-4-Plus 先做一个简单的体验,后面我会分享一下把GLM-4-Plus通过API的方式接入到Cursor里面帮助我们编程。

首先,让GLM-4-Plus回答一下经典的9.11和9.9哪个大?

目前GLM-4-Plus可以使用正确的数学比较方法来解决这个问题。

接着来测试一个代码问题,最近让Cursor使用claude 3.5 sonnet来生成triton的代码的时候发现一个明显的问题是生成的代码在传递输入Tensor的时候很多情况下都会出错,正确的做法是直接传递PyTorch的Tensor给Triton kernel,但它会传递Ternsor的内存指针过去,造成cuda内存非法访问。下面让GLM-4-Plus来尝试一个elemwent-wise乘法:

GLM-4-Plus生成的代码我们可以直接在gpu上去跑,跑出来的结果是正确的,这说明GLM-4-Plus已经具有了不错的代码能力,稍后我会单独展示一下如何通过API的方式把GLM-4-Plus接入到Cursor里面帮我们写代码。

最后我再测试一个弱智吧的问题:

这个回答结论是正确的,但是列举了一些个人感觉比较啰嗦的理由,回复实际上不是很符合人类的方式,不过也能感觉到至少GLM-4-Plus并不会在这种数据过拟合,而是通过泛化的方式获得了"智商",所以感觉对于基础模型来说也是合理的。

0x3. GLM-4-Plus 通过API的方式接入到Cursor

智谱AI开放平台提供了兼容OpenAI格式的API调用方法,我们可以使用下面的脚本来调用。

from openai import OpenAI 

client = OpenAI(
    api_key="xxx",
    base_url="https://open.bigmodel.cn/api/paas/v4/"


completion = client.chat.completions.create(
    model="glm-4",  
    messages=[    
        {"role""system""content""你是一个聪明且富有创造力的小说作家"},    
        {"role""user""content""请你作为童话故事大王,写一篇短篇童话故事,故事的主题是要永远保持一颗善良的心,要能够激发儿童的学习兴趣和想象力,同时也能够帮助儿童更好地理解和接受故事中所蕴含的道理和价值观。"
    ],
    top_p=0.7,
    temperature=0.9
 ) 
 
print(completion.choices[0].message)

此外,我们也可以通过API调用将GLM-4-Plus模型接入到Cursor里面帮助我们编写代码,下面说明一下如何实现。

  1. 选择 File-> Preference -> Cursor Settings
  1. 选择 Models,并把所有的模型开关关闭(否则后面模型验证会失败)

  2. 加GLM-4-Plus模型和密钥

model: glm-4-plus 添加完成后记得打开模型后面的开关

base Url : https://open.bigmodel.cn/api/paas/v4/

openai api key填一下我们在智谱AI大模型开放平台获取的key即可,配置界面如下所示

配置成功之后我们就可以在Cursor选中代码利用GLM-4-Plus来进行交互了,利用GLM-4-Plus帮助我们写代码,解释代码等等。

在Cursor中使用GLM-4-Plus对选中的代码做解释
在Cursor中使用GLM-4-Plus来修改代码
在Cursor中使用GLM-4-Plus帮我们写代码

感兴趣的小伙伴可以基于GLM-4-Plus在Cursor中自由探索其它功能。

0x4. 总结

智谱的全模型家族,GLM-4-Plus模型在性能上与GPT-4o相当,且API价格相比于GLM-4-0520更为优惠。GLM-4V-Plus和CogView-3-Plus相比于之前的系列模型在性能上均有大幅度提升并且价格也更便宜。我通过GLM-4-Plus API调用的方式把它接入了Cursor帮助我们做代码交互,对于我这个白嫖党最重要的是智谱开放平台BigModel在国庆月为新老用户提供1亿免费tokens,并对高消耗用户提供API折扣,进一步提升了这些模型的性价比和吸引力。感兴趣的小伙伴欢迎尝试呀!

点击阅读原文即可体验。