一个操作系统需要足够大的内存才能完成各种各样的复杂任务。与之类似,一个优秀的 LLM 也需要足够长的上下文长度来完成各种复杂的任务。
GLM-4-Long 现已在开放
平台 bigmodel.cn 上线,支持 1M 上下文长度 ( 150-200 万字 ) ,真正将长文本能力交到企业和开发者手中。
GLM-4-Long 为处理超长文本而设计,能够一口气阅读 2 本红楼梦或 125 篇论文,可以翻译长篇文档、全局分析财报、提取关键信息(合同条款、科研数据等),甚至可以打造一个具有超长记忆的聊天机器人。
GLM-4-Long 在价格方面也极具竞争力
,输入、输出价格仅需0.001元 /千 tokens。
从最初的仅支持2K上下文的ChatGLM-6B,发展到ChatGLM2-6B(32K)、ChatGLM3-6B(128K),直至现在的GLM-4-Long(1M),GLM技术团队始终追求最领先的上下文能力,不断进行技术迭代。GLM-4-Long集成了我们在长文本领域的大量研究成果。
从现在开始,欢迎大家使用 GLM-4-Long ,解锁更多有价值的应用场景。
接口文档:
https://bigmodel.cn/dev/api#glm-4
体验中心:
https://bigmodel.cn/console/trialcenter
大海捞针实验作为评估长文本能力最著名的实验,核心思想是在长文本中随机插入一个与文本不相关的句子,看模型能否准确地从文本中提取出这个隐藏的句子。从下图可以看出,GLM-4-Long 模型在 1M 上下文长度的“大海捞针”实验,达到了无损信息处理的能力。
拥有 1M 上下文长度的 GLM-4-Long,表现究竟怎么样?我们第一时间在大模型开放平台 bigmodel.cn 体验中心进行了实测:
将一份120页左右的 A 公司企业财报内容交给 GLM-4-Long 处理,他会帮我们梳理财报的主要内容。还可以
追问报告中的细节问题,比如2022年是如何分红的,GLM-4-Long会帮助准确摘取相关数据。
GLM-4-Long可以总结英文论文《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》的核心内容,将内容分主题输出;对于回答中提到的一些关键技术,还可以进一步追问技术细节。
让 GLM-4-Long 阅读《钢铁是怎样炼成的》,可以生成一些特定内容的总结,例如对关键人物进行总结,并分析作者的写作意图。
在需要处理大量数据和复杂多层次信息的场景中,GLM-4-Long 为企业应用带来了显著的优势:
1)深入的对话理解:
在客户服务场景,长上下文能力使模型更好地理解长篇或多回合交流中的细节及关系,能更好地处理技术支持或复杂咨询。
2)复杂文档的处理:
在法律、金融和科研等领域,经常需要分析长篇的文档。模型更好地理解整个文档的结构和内容,提高信息提取和文档总结的质量。
3)连贯性更强的内容生成:
在营销和广告领域,可以帮助生成更连贯、更具吸引力、风格和语境一致的内容。例如,根据一系列的营销材料生成一个完整的广告剧本。