西安交大研发的三维深度感知专用芯片及配套模组关键性能业界领先
▲西安交大举办发布会,发布《结构光3D深度相机》等两项科技成果。
记者近日从西安交通大学2019年首场科技成果新闻发布会上获悉,该校电信学院人工智能与机器人研究所葛晨阳副教授团队通过近8年多的艰苦攻关和自主创新,取得了部分原创性成果及多种深度相机产品的研发成功,包括自主开发三维深度感知专用芯片及配套模组(激光散斑投射器、IR/RGB摄像模组),并在关键性能(深度时延、深度精度、深度图分辨率)上达到业界领先、超过了微软Kinect一代/二代产品和Intel RealSense 3D深度摄像头,解决了动态、实时、准确获取深度图的难题。通过与光电行业领军企业舜宇光学的密切合作,在小型化激光散斑结构光芯片模组领域实现突破。
▲团队研发的第一代三维深度感知专用芯片——IVP1000的封装图和版图。
▲研发的中距离3D深度相机。
▲自主开发的三维深度感知专用芯片及配套模组。
▲自主开发的高清立体显示处理芯片HMD100。
据介绍,深度相机(RGB+Depth)作为一种现实物理世界与虚拟网络世界进行交互的“门户设备”,未来有可能取代传统RGB摄像头,成为现实世界中无处不在的重要设备,使机器或智能设备具备类似人眼的3D视觉感知能力,将有助于实现人与机器的自然交互、人与网络世界的虚拟交互,甚至机器与机器之间的交互。
当前,无人机、3D打印、机器人、虚拟现实头盔、智能手机、智能家居、人脸识别支付、智能监控等领域的深入研究与发展,需要解决环境感知、人机自然交互、避障、3D扫描、精确识别等难题,三维深度感知技术作为关键共性技术和设备,有助于解决这些难题,将极大地释放和激发人们对相关研究领域的科学想象力和创造力。基于激光散斑结构光编码的三维深度感知技术,作为一种高性价比、高可靠、适合大范围工作的深度感知技术,当前和未来很长一段时间内,将成为人机交互、智能设备深度获取的主流技术。激光散斑结构光深度相机,可实时获取高精度、高分辨率的深度信息,进行三维图像的实时识别、动作捕捉及场景感知,是当前一种主流的三维深度感知技术。
▲葛晨阳博士在发布会上介绍团队成果。
葛晨阳团队在国内最早(2010年)从事基于结构光的三维深度感知技术研究,在结构光技术领域专利布局国内最早,并可持续创新。团队经多年艰苦攻关和多学科交叉合作,2016年研制成功第一代三维深度感知专用芯片IVP1000(0.18微米流片,已成功量产)。基于该芯片研制的中距离3D深度相机RGBD100A,可实时输出深度Depth和RGB视频流(一一对应),用于三维目标识别跟踪、动作捕捉或场景感知,其深度精度可达1mm@1m、深度图输出时延<17ms、深度图分辨率可达1280×960@60Hz,工作范围0.5—6m,USB即插即用。
截止目前,他们已申报10项美国发明专利,(其中6项已获得授权)、40项中国发明专利(其中13项已获授权),并在手机、安防、机器人、人脸支付等多个领域实现了成果转化。其中一项核心发明专利“一种图像深度感知装置”。本团队不仅在中国最早获得授权,且比苹果公司更早获得美国专利授权(2013年,苹果公开申请“深度感知设备与系统”专利,申请号20130027548,而未能获得授权)。特别是在业界率先提出并实现一种主动结构光的双目深度感知方法及装置(适合大范围、远距离、高精度的实时测量场合)、率先研制一种即插即用的三维深度感知设备。
▲ 葛晨阳博士接受记者采访。
▲向记者演示研发成果。
▲结构光3D深度相机即时通过摄像头深度感知人脸三维模型。
▲展示的部分发明专利证书。
这些核心知识产权的积累一方面为国内外竞争者在知识产权方面设置了较高的门槛,另一方面有助于打破国际巨头在深度感知核心技术领域的垄断,并将对多个领域的科学探索和产业发展产生积极的影响,包括无人机、3D打印、机器人、虚拟现实头盔、智能手机、智能家居、人脸识别、智能监控等。这些产业的深入发展(解决环境感知、交互、避障、3D扫描等难题),都离不开三维深度感知设备技术的支持。
葛晨阳说,激光散斑结构光已成为最成熟的3D深度获取方案,可快速拓展到机器人、无人机、VR/AR、人脸支付、智能门禁/锁等领域,解决环境感知、人机交互、避障、3D扫描等难题。未来2D摄像模组将逐渐被3D摄像模组所取代。预计2020年,3D结构光模组市场规模预计将超过200亿美元,其中手机前置3D相机市场渗透率将达到33%。
葛晨阳现为工学博士,西安交大“视觉信息处理与应用”国家工程实验室骨干教师,2010年入选“教育部新世纪优秀人才支持计划”,曾在美国斯蒂文斯理工学院做访问学者。曾主持多个国家级重大课题;2007年获国家技术发明二等奖1项(第二完成人);主持研制我国第一颗自主知识产权的高清立体显示处理芯片,主持研制数字电视视频处理系列芯片,并实现产业化应用和技术成果转让;在国内率先研制成功面向智能手机的嵌入式结构光深度相机。
文:报驻陕记者韩 宏
图:韩 宏
编辑:韩 宏
责任编辑:叶志明
*独家稿件,转载请注明出处。