首页 > AI资讯 > 最新资讯 > 阿里版GPT测评,世界上怎么有这么嘴碎的AI!你给我停止生成

阿里版GPT测评,世界上怎么有这么嘴碎的AI!你给我停止生成

新火种    2023-09-06

朋友是提供情绪价值更重要,还是提供工具价值更重要?

这是阿里大模型“通义千问”给的回答,你觉得怎么样?

ChatGPT发布后,数月间全世界都对AI的能力有了新的认知。科幻小说正在变为现实,既然我们人类早晚要跟AI共存,不如先用通义千问做个测试,AI到底是生活伴侣还是生产助手?更擅长提供情绪价值还是工具价值?

至于我们的结论,hmm,往下看就知道了。

聪慧且嘴碎,阿里的AI有点“奇怪”?

许多AI测试文章中,提问者都会先让AI自我介绍一下,我们决定玩点不一样的,让文心一言如何评价通义千问。

我首先问的:“评价一下通义千问”,文心一言则给出了以下的回答:

有意思,文心一言直接把通义千问与ChatGPT弄混了。

将问题修改为“介绍一下阿里巴巴推出的通义千问”后,文心一言终于读懂题了:

用相同的格式提问,通义千问是这么介绍一下文心一言的:

虽然回答十分简短,但是没有把研发者弄混,比文心一言的表现要好。

单从现在的测试结果来看,通义千问至少在对简短提问的信息检索正确率上要比文心一言更高。

接下来让我们给通义千问上点难度。

对于一般人而言,在面对“吃西瓜为什么不吐葡萄皮?”这样的脑筋急转弯时,很快就会意识到其中的常识性错误,并指出其中的逻辑问题,那么通义千问又会如何回答?

似乎没有难住它,第一句就指明了西瓜和葡萄是不同的食物,在常识性上没有出现问题。不过后续的解释似乎又将西瓜和葡萄的关系进行了一定的混淆,最后给出的结论也有一些小瑕疵。看来言多必失啊!通义千问,要不你还是少说点?

这个问题我也同样问过文心一言:

首先,西瓜是葫芦科...其次,我想没有人在吃西瓜时会不切开直接咬下果肉吧?显然文心一言对逻辑性、常识性错误的诱导式问题处理还是存在不少问题,它并没有意识到人类正在有意“欺骗”自己,而是根据提问开始收集相关信息,并依照数据模型将信息强行拼合在一起,最终给出一份奇怪的回答。

在后续的几个普通提问中,我发现通义千问偶尔会出现一些奇怪的小BUG,比如将相同的回答重复一遍,这极强的表现欲,你看像不像个话痨小朋友。

下一题,出道哲学题考考通义千问:

说实话,比我对生活的理解都要更加深刻。就是……有点啰唆,有些话翻来覆去重复表达,还说得飞快,我真的是赶不上它疯狂输出的那个蓝色小光标。

再来考考它的情商。当我告诉通义千问我很伤心:

挺积极向上的安慰,就是没啥用,我并不指望它说的话能真的安慰我,在面对困境却没有人倾诉时,它在我身边,陪我说说话就好。

当我告诉它我恋爱了,马上就要结婚了,它的表现像极了一个热情满满、同时头脑精明的情感分析师+婚礼策划师。

回答得不错,给出的建议都很实用,只是人情味似乎少了点,“卖货”来得早了点,然后我就按下对话界面右下角的“停止生成”按钮,让它闭嘴了。

不过,接下来的测试,让我坚信,通义千问很有成为情感博主的潜质,因为它真的絮絮叨叨的。

我每次和它谈到情感类问题,它会忍不住长篇大论,给人一种“你也喜欢八卦啊”的感觉。比如我询问它如何向喜欢的女孩告白时,他就洋洋洒洒写下数千字帮我出谋划策。AI狗头军师,你值得拥有。(骄傲脸.jpg)

鉴于篇幅问题,就不放上所有截图了,因为它的话实在太多了。有兴趣的朋友可以等通义千问公测后去试一试,说不定能够结束你单身多年的生活,当然前提是要你不嫌它烦。

常识类、情感类的问题看样子难不倒通义千问,那么文学赏析呢?

不得不说,诗句和文学赏析的回答十分到位,甚至做了意象描述,被它(装逼)装到了。

如果通义千问有绘图功能,我丝毫不怀疑它会现场给我画一副描述“空山新雨后”的画作出来,毕竟它真的很爱表现自己。

实际上,当我把这个作图需求下给达摩院文生图大模型(我理解是通义千问的同胞兄弟姊妹)后,它给我生成了一副符合描述的照片。

在近期的一次访谈中,达摩院的相关负责人表示技术上其实不存在问题,只是需要进行一些软件工程上的处理就可以完成。看来之后就能看到通义千问图文并茂地表达了,有点期待呢,毕竟以后就可以让它多画图、少说话了。

上面的一系列测试,主要是围绕生活/娱乐场景展开的,都是针对通义千问在常识、知识等方面的测试,那么在生产力方面,它的表现又如何呢?

它不仅仅是个话痨

ChatGPT在生产力上的表现不仅带来了一轮新的生产力革命,也让不少人担心自己会被AI取代。作为与ChatGPT类似的AI大模型,通义千问在生产力方面的表现怎么样呢?

1、写剧本

虽然从剧情来说并不算惊艳,但是也有着开幕、挫折、高潮、结尾等结构,算是一个完整的故事。

2、写脚本

有些简单了,但是通义千问显然已经具备根据要求生成对应剧本和脚本的能力。

3、写提纲

从专业编辑的角度来看,这份提纲有着很高的可操作性,沿着这个提纲的思路撰写文章,足以给出一篇完善且具有深度的行业报告。

用它来辅助工作,似乎还不错。而且它不仅懂中文,还懂英文、法语。按照它自己的说法,它一共掌握了17种语言。我没有进行一一测试(它的聒噪已经给我留下阴影),后续有机会参与测试的朋友,倒是不妨体验一下。

我让通义千问帮我写一份给美国女孩苏西的信,内容是介绍中国,这里我就直接放翻译吧:

从测试来看,只要提供足够的信息,通义千问就能写。

4、SWOT分析

做市场分析的朋友,对这个应该都不陌生。

作为一个对手机市场十分了解的科技数码编辑,我对通义千问的这篇分析看法是认可的,除了少数的小问题,我没有挑出其他的毛病了,甚至能够以此为基础,扩写一份详尽的报告出来。行吧,给它点个赞吧。

最后

从实际表现来看,通义千问与领先的GPT 4.0还有很大的差距,但是对比此前的一些AI大模型,通义千问在问答逻辑、信息检索、语句理解等方面都已经有了明显的进步,我现在对中国AI大模型的未来充满了信心。

而且,国内最大的AI模型社区魔搭也是由达摩院牵头创建并维护,企业和个人都可以更加轻松地训练和调整自己的AI大模型,阿里也在开放一些AI大模型供企业和个人使用,通义千问拥有目前的水平或许就是大家一起努力的结果。

世界正在改变,一个全新的AI时代正在到来,你见或者不见,大语言模型的能力就在那里,不来不去,关键在于怎么用它。如果你拥有“通义千问”,你会怎么用它呢?欢迎评论区留言。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。