仿生立体视觉领域开拓蓝海 张晓林团队尝试超越人眼瞄准未来市场
能跟随目标灵活转动的仿生眼o均本报首席记者许琦敏摄
张晓林在介绍全球唯一的全自动3D摄像系统
■本报首席记者 许琦敏
在茫茫人海中锁定一个人,无论他/她身形有多快,都能紧紧盯住?世界上最先进的仿生眼可以做到。
日前,在中科院微系统与信息技术研究所,记者看到了由国家“千人计划”学者张晓林团队研发的这套迄今最接近人眼的视觉系统。作为上海“脑-智工程”的重要部分,该团队目前已成立了两家公司,并获得了数千万元投资。
像人眼一样“明眸善睐”
走进实验室,记者看到一个黑色三脚架上架设着一台设备,设备上两个可以灵活转动的摄像头,像极了一对人的眼珠。旁边连接设备的大屏幕上呈现出它实时拍下的立体图像。一旦摄像头盯住一个目标,只要目标移动,摄像头就会跟着转动,摄像机的“视线”就像被牢牢吸住了一般。
“人的单个眼球活动有旋转、水平、俯仰三个自由度,一双眼睛就有6个自由度。”张晓林解释,他们用6台电机来模拟眼部肌肉,让摄像头能像人眼一样“明眸善睐”。这对仿生眼视场宽度可以达到150°,今后科研人员还考虑让它架上“脖子”,像人一样可以左顾右盼,“即使一个目标可以每秒绕两圈的速度移动,它也可以牢牢盯住。”
“目前,大多数人工智能视觉只能做到平行视觉,如果当机器发生跳跃、遇到障碍物,那就无法成像了。”张晓林说,这是因为现在科学家对大脑中视觉识别、分析、决策方面已有较多了解,反而对小脑中控制眼球运动、上丘脑中控制跳跃性视觉、脑干中融合视听触觉的机制不甚了解,“我们则希望在这方面有所突破,让仿生视觉真正走向类脑智能。”
接近人眼之后,他们还将尝试超越人眼。比如,张晓林团队已在开展“鹰眼”研究。“鹰的眼球有两个中心凹,深的一个可以单独工作,从上千米的距离外看清目标,而浅的那个则需双眼配合,在近距离产生纵深感,帮助老鹰更好地抓取猎物。”他说,这只是尝试之一,“变色龙眼球可以分别转动,或许可以让仿生眼具有更多功能。”
在上海找到志同道合者
虽然在全自动3D仿生视觉系统领域做得风生水起,但张晓林已有3年不曾以第一作者的身份,在专业杂志上发表论文。“对于一个很多人还不相信的东西,做出来才是最有说服力的。”他因此将更多精力放在研制和专利保护上。
先在日本横滨国立大学学了8年工程,又在东京医科齿科大学从事了8年医学相关工作,从2003年起,张晓林到东京工业大学开始仿生眼研究。2013年,他带领团队的6名博士一起回国,来到微系统所,开始人工智能仿生视觉的研究。
“这是一个跨好几个学科的新领域,涉及医学、脑科学、控制、图像处理等等。”他说。
回国后,由于领域太新,没有什么同行,张晓林在申请项目和经费时,也遇到过不少尴尬,“即使发了论文,也很少有人引用,怎么也得不到高影响因子。”但他觉得,对一个真正创新的领域,刚开始总是少人关注,即使发了文章,影响力也要过很多年才能看出,所以先做实在事更紧要。
在上海的科创大环境中,他找到了不少志同道合者———上海“脑-智工程”项目打通了从基础脑科学研究到类脑智能技术的联系,这正是他所盼望的。在这个项目中,他负责视觉系统,科大讯飞负责语音,寒武纪负责神经网络芯片……他说,深度学习可以让人工智能视觉系统得到快速发展,在这里发展自己的事业,的确找对了地方。
为未来市场而努力
采访间隙,张晓林接了一个很长的电话,与人探讨一个专利的价格问题。对于高级的智能视觉系统,市场需求还只是初露端倪。
最近,CBA(中国男子篮球职业联赛)公司找到张晓林,希望能将他的新技术用在监控篮球比赛上。“有时一个球到底是否出界,现在的摄像系统无法快速变焦盯住篮球。”他说,用他的技术则可以做到。
3D电影拍摄成本高,主要因为要时刻保持两台摄像机的光轴落在同一平面上,才能形成立体视觉。“我们的设备可以自动调节,拍摄的时间成本就下降到普通摄像机的水平。”张晓林说,他们已为上海戏曲工程提供了拍摄设备。
今后,这块需求还会更多。比如,现在双臂机器人已经诞生,今后所从事的不再是流水线上的单一工作,而是需要拣选零件,进行不同的装配,那么仿生立体视觉就很重要。又如无人汽车上的视觉系统,也要能够对复杂的路况进行判断,尤其是遇到颠簸等情况。
不过张晓林也感叹:“人才太难找了!”今年他把培养出的学生大部分留在了自己公司,开出了比市场平均水平更高的年薪。他希望,有更多人可以加入到这个领域中,尽管对学科交叉背景的要求很高,但为未来市场而努力,很值得。