厅官培训班上,专家给出的“汉语十级考”砸晕了一群AI,你能过关么?
人工智能(AI)是当下最酷的技术。但在面对一些简单问题时,AI仍有短板,有时甚至让人哭笑不得。
比如,当你听到“小张吃食堂”这句话,你会不会觉得这位张先生胃口太好,一口要把食堂吞进肚子?
但实诚的AI还真是这么理解的。
这两天,上海正在举办一场高水平的人工智能培训班,邀请到权威专家给全市各区、各委办局的几十名局级干部,讲授人工智能发展态势。专家既谈AI的光明前景和巨大潜力,也不回避问题。
▲“领导干部推动人工智能专题研讨班”在上海举办
科技部高新司的梅建平在讲课时,现场拿AI开涮。他只用了一张PPT,就充分暴露了AI在自然语言理解上的的“智商盲区”。
他的PPT上,列出了5句日常对话。可对AI来说,难度可能达到了“汉语十级”。
▲这张PPT算是“汉语AI十级考题”
身怀人类智能的我,审了一下题:
“张三吃食堂。”——不就是在食堂吃饭么?
“谁也赢不了。”——那这位就是是最菜的。
“能穿多少穿多少。”——这句话难道还有别的理解?
“欢迎新老师生前来就餐”——莫非这是个脑筋急转弯?
好吧,看起来,这些句子的确有些小陷阱。那么,AI真的会犯糊涂么?
我选了6个主流的翻译AI,做了个测试。
来看看AI们的表现吧。
【第一题】
“张三吃食堂,李四吃面条。”
【结果】
0对6错。全军覆没。
我截了屏,大家一起体会下。
有5个AI认为,“张三把食堂吃了”。
▲腾讯翻译君
▲百度翻译
▲有道翻译官
▲搜狗翻译
▲Google翻译
“必应词典”似乎意识到食堂不能吃,所以,它机智地把动词“吃(eat)”给省了。于是,“张三“干脆自己变成了”食堂”。
▲必应
【追评】
在某些情况下,AI似乎会变得聪明一些——当我把原文改为“小张吃食堂”,腾讯翻译君立即给出了正解。但其他AI依然如故。
【第二题】
“王五吃大碗。”
【结果】
0对6错。
这题和上一题挺像的,所以全军覆没也正常。
我就不截屏了。
反正所有AI都认为“王五把一只大碗给吃了”,大伙儿交出来的译文几乎一样:
“Wang Wu eats a big bowl.”
【第三题】
“谁也赢不了。”
【结果】
0对6错。
这句话真的体现了汉语之精妙。在多数情况下,这句话应该被理解为“赢不了任何一个谁”,也就是说,“实力太弱、碰到谁都输”。
但所有AI都理解岔了,全部按照“没人可以成为赢家”来理解和翻译。
【追评】
百度、有道、搜狗,这三位在自己的译文下面,都给出了一个例句,显得特别意思:
“弗格森爵士赛后承认 如果这么踢球的话 那么他们谁也赢不了。”
AI们引用的翻译完全正确:“Ferguson admitted afterwards United would not beat anyone if they carried on like that.”
可惜的是,很强调深度学习的AI,自己似乎并没有好好学习例句。
【第四题】
“能穿多少穿多少。”
【结果】
2对4错。
终于有AI答对了。
这题让我想起,有一种冷,叫做“妈妈觉得你冷”。而这题中的语言,就是妈妈给你的唠叨。
有道、搜狗,看起来很懂这种“妈妈冷”。
▲左为有道,右为搜狗
可是,其他4个AI似乎只能感觉到妈妈冷冰冰的发问:“你能穿多少?”
显然是情商欠费,导致智商不足。
【第五题】
“欢迎新老师生前来就餐。”
【结果】
3对3错。
这是AI表现最好的一题。
这题的测试,我其实蛮期待的。该题的精要在于,AI会不会弄错断句,从而把“新老师生-前来就餐”,看成“新老师-生前-来就餐”。
实际上,遇到这样的横幅,哪怕是人,也不排除有时候脑子转不过弯来。
何况是AI。
在上一题中表现出色的搜狗翻译,这次老老实实地上了当。
看它的译文(似乎还沉浸在清明的气氛中):“欢迎新老师在去世之前吃饭。”
▲搜狗还沉浸在清明的气氛之中么?
同样在上一题拿分的有道,这回却不尽如人意。它和Google翻译的表现差不多。
乍一看,它们似乎没那么在乎“生死”。但从译文里只提到了“老师”、忘记了“学生”,可以看出来,它们肯定没有完全理解到位。
腾讯、百度、必应这次的理解对了。当然,好学生多了,笑料就少了。
中译英考完,还有一道“看图说话”——也就是那张PPT右下角的图片:
▲这张图中,你能看到什么呢?
图片里有一条斑点狗,你看出来了吗?
专家说,人眼可以比较轻松地识别出图中的狗。可对AI来说,这并不容易。
这也表明,除了自然语言理解,AI在机器视觉方面也有短板。这是现在各公司竞相投入、技术进步飞快的两个技术方向。但显然还有很大的进步空间。
【总结】
6位AI,面对5题,满分是30分。它们一共拿了5分。准确率只有17%。
不管怎么说,AI是目前世界各国竞相发展的技术,它正在深刻影响生活。我们要做的,是了解AI,用好AI,同时知晓AI的不足,扬长避短。
不妨用这场领导干部培训班上的另一张PPT来总结。
那么,你为AI时代做好准备了吗?
作者:张懿
编辑:孙华
责任编辑:戎兵 唐玮婕
*独家稿件,转载请注明出处。