专栏名称: GiantPandaCV
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
目录
相关文章推荐
新加坡眼  ·  从中国入境新加坡可以带烟酒吗? ·  22 小时前  
北方海南  ·  警惕!这种常见水果变“红心”快扔掉 ·  昨天  
新加坡眼  ·  重磅新政!新加坡工作准证 ... ·  2 天前  
51好读  ›  专栏  ›  GiantPandaCV

GLM大模型的机器翻译能力测试

GiantPandaCV  · 公众号  ·  · 2024-08-08 19:21

正文

背景介绍

最近想对GLM-4今年发布的几个大模型 glm-4-0520,glm-4-air以及glm-4-flash简单评测一下它们的机器翻译能力,由于这几个大模型的容量和训练数据都有区别,所以它们的翻译能力也是不同的。我们这里就分别选择一些有趣的,有挑战性的,专业性的数据来分别让glm-4-0520,glm-4-air以及glm-4-flash还有百度翻译分别给出它们的翻译结果。最后我们把每个模型或者翻译软件对应的原始语句以及翻译后的结果送到Cluade-3.5-Sonnet这个SOTA的大模型中,让它分别为每个模型的翻译结果进行打分,每个机器翻译例子都是10分的满分。最后我们汇总上面三方面的数据中各个模型和专业的翻译软件的得分,来把握GLM4的几款模型的机器翻译的能力。

本次体验平台为智谱AI的Mass平台,地址为:https://open.bigmodel.cn/ 注册即可在体验中心免费体验上面提到的几款glm-4系列模型。

本次用到的GLM4系列模型简介&价格对比

本次体验的 glm-4-0520,glm-4-air以及glm-4-flash 都是智谱AI提供的闭源大模型,在体验中心随手选择一个大模型之后我们就可以在价格页面看到所有的大模型定价和简介:

我们要体验的这三款模型分别主打性能最强,最高性价比和极速低价。特别地,对于glm-4-flash 模型来说,100w输入tokens只需要0.1元,惊人的便宜。我们就以这三款对性能和价格各有侧重的模型在机器翻译的任务上进行一次评测。

数据获取规则&&打分规则

我们尽可能的去防止数据泄漏,选择数据时尽量选择有版权的比如影视数据以及很新的一些文本数据,比如来自很新的axriv上的论文,较新的考试试卷等。

我们把每个模型或者翻译软件对应的原始语句以及翻译后的结果送到Cluade-3.5-Sonnet这个SOTA的大模型中,让它分别为每个模型的翻译结果进行打分,每个机器翻译例子都是10分的满分

Prompt

对于所有的模型均直接让它翻译即可,例如下面的例子:

  • 请把“唉,我是少爷的身子,跑堂的命啊。”翻译成英语。
  • 请把“My way or the highway.”翻译成中文。

此外,在打分阶段普遍采用下面的prompt:

但对于困难数据中的古文,我们采用下面的prompt,即对古文的原始意思进行标注,以帮助Cluade-3.5-Sonnet更准确的打分。

此外,每做完一次大的翻译课题里面的一个子问题,对Cluade-3.5-Sonnet的对话缓存进行清理。

有趣的翻译数据

这里选取3句《武林外传》的经典台词由中文翻译成英文。选择3句《老友记》的经典台词翻译成英文。再选择3句《哆啦A梦》的日文经典台词,要求翻译为中文。

3句《武林外传》的经典台词

选取如下3句:

  • 唉,我是少爷的身子,跑堂的命啊。
  • 帮我照顾好我7舅姥爷!
  • 确定一定以及肯定。

3句《老友记》的经典台词

  • My way or the highway.
  • I would like to propose a toast.
  • Too bad we must return them.

3句《哆啦A梦》的日文经典台词

  • 毎日の小さな努力のつみ重ねが、歴史を作っていくんだよ!!
  • 未来なんて ちょっとしたはずみで どんどん変わるから
  • 道をえらぶということは、かならずしも歩きやすい安全な道をえらぶってことじゃないんだぞ

当前得分汇总

模型/api 有趣的翻译数据总得分
glm-4-0520 77
glm-4-air 73
glm-4-flash 71
百度翻译 54

在有趣的翻译数据中,glm-4系列模型的得分均能超过百度翻译的得分,其中glm-4-0520的得分是最高的,glm-4-flash的得分则是三款模型中得分最低的,这也符合模型本身的定位。

困难的翻译数据

比较难翻译的词

  • 内卷
  • 东施效颦
  • 江湖

《滕王阁序》中的三个名句

这里不仅仅设计到文本翻译,还设计到对古文的理解,可以一起考察大模型的推理能力。

  • 酌贪泉而觉爽,处涸辙以犹欢。
  • 老当益壮,宁移白首之心?穷且益坚,不坠青云之志。

glm-4-flash翻译这个句子时还出现了大段复读机现象,表现很差,统计得分的时候我们将6分手动降低为3分。

  • 关山难越,谁悲失路之人;萍水相逢,尽是他乡之客。

Cluade-3.5-Sonnet出三个英译中困难题目

我使用Cluade-3.5-Sonnet获取了3句阅读起来很困难的英语语句,要求把这些句子翻译成中文。

  • The researcher, having meticulously analyzed the data collected over a decade-long study, concluded that the phenomenon, hitherto thought to be anomalous, was in fact a natural consequence of the complex interplay between various environmental factors.

  • The ship that my sister said that the owner of the company claimed that the inspector had certified as seaworthy sank in the Pacific.
  • Despite the fact that the intricate web of international trade agreements had ostensibly been designed to foster global economic cooperation, it paradoxically exacerbated existing inequalities between developed and developing nations.

当前得分汇总

模型/api 有趣的翻译数据总得分 困难的翻译数据总得分
glm-4-0520 77 81
glm-4-air 73 73
glm-4-flash 71 71
百度翻译 54 57

在困难的数据中,glm-4系列模型仍然体现出了越贵的模型能力越强的特点,且这三款模型的翻译能力都比百度翻译的结果更强。

专业的翻译数据

分别选取很新的一篇arxiv论文上关于大模型的3个英文句子翻译成中文;选取2024高考英语试卷阅读理解中的的3个句子翻译成英文;再选取2024高考语文阅读理解中的5个句子翻译成英文。

新的axriv论文

  • Efficient use of GPU memory is essential for high throughput LLM inference.
  • We evaluate three models Yi-6B, Llama-3-8B and Yi-34B, using a single NVIDIA A100 GPU for Yi-6B, and two NVLink-connected A100 GPUs for Llama- 3-8B and Yi-34B (see Table 5).
  • Implementing an additional memory manager can add performance issues in the CPU runtime of the serving system. We refer to a few real-world examples and our own observations on vLLM to corroborate this argument

2024高考英语试卷阅读理解抽取3个句子

  • In the race to document the species on Earth before they go extinct, researchers and citizen scientists have collected billions of records.
  • Though they are useful for detecting shifts in the number and variety of species in an area, a new Stanford study has found that this type of record is not perfect.
  • Using a global dataset of 1.9 billion records of plants, insects, birds, and animals, Daru and his team tested how well these data represent actual global biodiversity patterns.

2024高考语文试卷阅读理解抽取3个句子

  • 白露过后,乌乡的风里就已丰满了寒意。

glm4-4-flash的输出开头多了一些奇怪的符号,扣3分。

  • 我提着满满一大铁桶羊木炭,把它们倾倒在大路边洞道的木凳里——这是房东阿姨安排给我的任务。
  • "天寒落露了,大伙儿小心着凉。"她说。

当前得分汇总

模型/api 有趣的翻译数据总得分 困难的翻译数据总得分 专业的翻译数据总得分
glm-4-0520 77 81 81
glm-4-air 73 73 79
glm-4-flash 71 71 75
百度翻译 54 57 68

机器翻译性能和价格的分析&总结

这里基于GLM-4每种模型和专业翻译软件在有趣的,困难的,专业的三个方面的得分总结每种模型/百度翻译的机器翻译能力。最后我综合价格,对有机器翻译需求的用户做一个最佳建使用建议。







请到「今天看啥」查看全文