萧箫 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
本文经AI新媒体量子位(公众号 ID: QbitAI)授权转载,转载请联系出处
阿里正式加入ChatGPT战局!
就在刚刚,阿里版类ChatGPT突然官宣正式对外开放企业邀测。
它叫
通义千问
,由达摩院开发。
嗯,是大模型版十万个为什么那个味儿了。
事实上,早在这个月初,就传出过不少阿里要推出类ChatGPT的消息,不过普遍预期在11号左右。
而前几天率先流出的天猫精灵“鸟鸟分鸟”脱口秀版GPT,就是基于大模型的“压缩版”,已经以其惊艳表现把网友的胃口吊了起来,让众人将目光投向阿里。
如今“正菜”提前上桌,自然一点即着,引爆舆论关注。
所以,这个阿里版ChatGPT“通义千问”,究竟实力几何?
恰好量子位拿到了第一批邀测资格,省流结论:中文大模型真正的竞争开始了。
咱们实测见真章。
调戏阿里版ChatGPT实录
先来看看通义千问的主要功能。
作为一个大语言模型,它的能力主要集中在
文本生成
上,即也能像ChatGPT一样“问啥答啥”:
这里我们试一下官方给的撰写短文,看起来连语文老师常用的
“总分总”
也能理解:
△
又一个中文写作业神器(doge)
除了对话外,它还具备一个“百宝袋”功能,里面相当于一个工具箱,能快速生成各种指定类型的文案:
话不多说,先从语言能力、上下文理解能力、代码能力和数学能力四个方向,来测测模型的对话能力。
一、对话能力
语言能力
要说国内大模型,首先要看的还得是中文。
先来个最基础的:“能穿多少穿多少”是什么意思?
不错,解释得比较清楚,还顺便聊了一下自己对这句话的看法:
续写类的创意写作,不但能模仿语气,甚至还能创造悬疑,有点厉害哟~
接下来就轮到新一代AI benchmark弱智吧问题了:怎么才能把梦里的钱取到银行卡里?
“在梦里取钱是一种幻觉或想象”,谢谢你清醒侠。
还有更扎心的……“如果您经常做梦梦到钱,建议您睡前回顾一下自己的财务状况,看看有什么不足之处”
虽然阿里的朋友称,通义千问主要是中文不错,但我们叛逆一点,看看这个中文大语言模型的其他语言水平怎么样。
先不走寻常路,试试通义千问的
日语
能力,给花泽香菜写一封情书。
看中文机翻似乎还不错,这就把它寄给香菜,应该没问题吧?
再来试试
英语
。刚好前段时间有网友PK了一下Bard和GPT-4的Rap,我们也来看看通义千问的说唱能力。
这top,这stop,还给押上了!就是不知道姆爷认不认可
。
试试加点难度,中英夹杂的谐音梗?
这个时候,通义千问的回答就显得有点严肃了。
当我们给出答案的时候,虽然通义千问看出了这是个笑话,但它并不觉得好笑,还很严肃地指正我们:这并不意味着松下惧怕索尼。
不过我们发现,ChatGPT同样一本正经……这年头的AI都这么正义么……
好,下一个试试它的上下文理解能力。
上下文理解能力
这部分说白了就是多轮对话能力,考查通义千问能不能准确提取上文的信息,用于下轮问题的回答。
来听题:山东一县一酒是真的吗?
模糊掉山东试试?让它列举“这个省”几个经典的白酒牌子:
不错。再试着从最新的回答中追问一下:
等等,“据史书记载”不会是编的资料吧?追问×2:
有意思的是,我们确实在孔府家酒的官网找到了资料来源:
代码能力
接着,来试试它的代码能力。整个计算器程序试试?
还不错,实现了简单的四则运算。完整版代码如下,感兴趣的胖友们可以试试:
#include
#include
using namespace std;
int main()
{
double num1, num2;
char operator;
cout <"Enter first number: ";
cin >> num1;
cout <"Enter second number: ";
cin >> num2;
cout <"Enter operator (+,-,*,/,%,...) : ";
cin >> operator;
switch(operator)
{
case '+':
cout break;
case '-':
cout break;
case '*':
cout break;
case '/':
if(num2 == 0)
{
cout <"Error! Cannot divide by 0." break;
}
else
{
cout }
break;
case '%':
cout break;
default:
cout <"Error! Invalid operator." break;
}
return 0;
}
那么,让将它这段代码改写成Python:
再让它解释一下自己写过的每一段代码:
基础编程能力,似乎问题不大?
不过,如果要让通义千问将解释改写成注释,就会出现一点神奇的bug。
虽然它给“Python”代码标好了注释,但等等,这不是最初的C++版代码嘛!
(这何尝不是一种NTR)
数学能力
最后来看看数学问题。鸡兔同笼,还不错:
普通的计算题也没什么问题,还能精确到小数点后几位: