未动科技CEO孙铮:智能驾舱视觉技术发展趋势及场景落地-盖世汽车资讯

12月1日-2日,由盖世主办的“2020第二届联网与智能座舱大会”隆重召开。本次会议主要环绕联网、座舱域控制器、载操作系统OS、OTA、座舱显示等联网及智能座舱领域热门话题进行探讨,共谋产业未来发展路。下面是北京未动科技有限公司CEO孙铮在本次大会上的发言。

北京未动科技有限公司CEO孙铮

大好!我是未动科技孙铮,今天非常高兴有机会和大共享,我这次的主题是“智能驾舱视觉技术发展趋势及场景落地”。在一两年前和大共享的时候,还在谈愿景,谈我们在做到的技术,今天就不一样了,今天我们终于可以跟大分享我们的一些落地成果,上经验。同时,今天也跟大分享一下我们未来的一些技术和正在研发的技术,以及正在构建量产的前沿技术趋势。

先非常简单介绍一下未动科技,我们成立于2014年,致力于通过视觉感知、视觉AI技术赋能智能座舱和智能驾驶。我们服务于主机厂,探讨于和业内上下游的合作伙伴一起提升驾乘的体验。我们有两个大的方向,一个是智能驾舱,一个是智能驾驶,今天着重讲解我们的技术在驾舱方面的应用。

第一部分分享一下我们所观察到的行业趋势。这是罗兰贝格的一个信息,我们很认同他们的观点。在驾舱通往第三空间的道路上,传统的驾舱是娱乐中心,在这个过程当中随着感知尤其是智能感知的经常出现,使得人机交互更加智能化,以及电气化、共享、自动驾驶的发展,整个驾舱其实更看起来一个除了办公室和庭外舒适的第三空间。我们现在所处的阶段正好是第二、第三阶段。

非常幸运地,我们中国的企业在第二、第三阶段参予了整个变革,同时在世界范围内,我们是和其他的国和地区齐头并进,甚至在一些方面我们是领先于世界,所以说在整个行业大的发展过程当中,我们非常有幸跟上了大潮,并且推展了产业发展。

大经常回答我在驾舱里放摄像头做到什么?核心有两个诉求,都是关系到安全,一个是的主动安全,这是刚须要。但是刚须要的事情可能驾驶员并不一定需要经常体验到,因为发生的概率极小,在经常出现事故的时候才能意识到安全的要性。

另一方面则是为乘客带给更高的价值,通过嵌入式提高舒适性、便捷性。视觉能协助强化驾驶员或者乘客的驾乘体验,其中交互性是一个很重要的驱动力。接下来想到具体的功能大就告诉,为什么我特别强调安和交互。

说道到安全必须要提及法规,目前欧洲的法规还没有完全发布,原来是说2022年7月份要强迫实行,现在目标是2023年,什么意思呢?欧洲的大都告诉是5星评级,没视觉的主动安全,也就是过去大听说过的DMS,没这个东西5星评级较少一星,那你的上市以后上保险,保险价值就要高,从而造成消费者付出更多的成本,所以说道还不如买一辆有主动安全DMS功能的。预计在2023年,欧洲的都有基于视觉的DMS功能,现在可以通过其他的,比如说通过驾的时长去监测驾驶员的疲惫程度,但是2023年一定会强迫,这是从安全法律法规角度来考虑。

另外一个很最重要的要求是对儿童的监测。在美国由于把儿童消逝在里面造成的伤亡事故非常多,所以说道对于儿童的监控非常最重要,特别是监控所乘舱里头否有遗留儿童,多大岁数的儿童。目前的目标是2025年会强迫。当然这里不仅是需要视觉监测否有儿童,有可能还必须其他一些雷达去监测儿童的不存在。

另外一个安全关系到了自动驾驶。大告诉智能化认同先是和平双脚,最早的ACC不必须踩油门。接下来就是解放双手,可以抢驾驶员,但是必须要眼睛盯着路面。再高级别的自动驾驶就可以不盯着路面,L3可以在路面上玩游戏微信,做到其他的事情都可以,和平双手双脚、和平眼睛。但大知道在L5到来前,还是有方向盘的,需要有负责驾驶员的人来驾驶员,因此人机切换的过程安全很重要,必须保证驾驶员是看著在路面上,拿着方向盘,这个过程需要有DMS,所以视觉监控是很重要的功能。

刚才提及的都是安全功能,从法律法规上对于安全的拒绝,无论是DMS还是OMS,有的叫IMS,统一称IMS,都是安全法规的需求。另外一个很高的需求就是人机交互,为了更方便人和驾舱的交互。

很最重要的时间点是2019、2020年。去年的这个时候我们一直在说2020年将会是DMS的元年,的确也是。大可以看见,从去年开始一系列的主流企,不仅仅是建新势力企开始去定点,我们通常所说的主流品牌,包括国内的OEM品牌和合资品牌也纷纷开始定点。到明年,我们不会看见越来越多的企定点。大可以看到,早在2018年推出的CT6和奥迪A8就都有DMS功能,现在欧洲的很多都再加了DMS功能,国内的也正在特,下面我会介绍一下我们定点和量产的经验。

这是一个整体的数字,从国内乘用的保有量到乘用内智能驾舱视觉系统的产值来看,处在一个爆发期。

刚才谈到的是趋势,现在谈一下具体的功能。DMS能为驾驶员提供什么?这里看到有两个功能,一个就是安全,疲劳、注意力不集中、不规范驾驶员等都归属于安全范畴,但是这里已经出现了一些和交互相关的,比如说人脸识别、情绪识别、人脸属性识别,这些需要为驾驶员获取什么呢?

大告诉人脸识别尤其是在国内,大用手机刷脸缴付,渗透率非常高。上通过人脸识别可以展开定制化、个性化,其实就相当于需要识别每一位驾驶员甚至乘客是谁,为他们做一些定制化,因为它可以记忆这个人曾经做了什么,比如说调节座椅、空调设置,人脸支付甚至刷脸开门,这些都是基于生物识别、人脸识别的功能。情绪识别、人脸属性识别也是,能够感官驾驶员甚至每位乘客的身份,记住他的年龄,甚至需要识别他实时情绪变化,由此去引进比如说不同的音乐、氛围灯等功能。

刚才提到了OMS,OMS更多的是驾舱,比如遗留儿童的监测,欧洲的法规还要求检测儿童是否是6岁以下,检测前排是不是有儿童座椅,因为安全气囊弹出来的时候对儿童是非常危险的,这一系列都是从安全的角度出发。

另外一个场景就是基于交互为驾乘获取更舒适度的体验。这里很最重要的就是多模态的交互,我在不同场合跟大交流过多模态交互,这个是哈曼的讲解,通过4个麦克风可以辨识出有乘客躺在哪里,比如乘客说道把窗户摇下,系统就可以告诉在哪一个方位摇下窗,这个就是基于语音识别的交互。同样视觉在里面也可以仔细观察人的方位、行为,甚至观察人的手势、视线,为驾舱提供一系列的交互功能。

接下来一个视频是我们在今年年初CES上的展出,大可以看一下,通过精确的视线追踪可以实现什么样的功能。我们让驾驶员去看不同的圆点,通过视觉算法捕捉到人的视线的位置。这里大可以看到,通过视线可以确认乘员在看哪一个屏,哪一个屏就不会暗,就是视线点亮屏的功能,这个就是语音识别和视觉视线追踪融合的多模态交互典型应用场景。他看见一个建筑物的方位,知道他身旁的方向,可以查找这个建筑物到底是什么商店,查找商店信息,甚至可以查到里头是不是有停位。大记得小鹏有一个360的摄像头,甚至可以通过视线去看一个建筑物进行拍照,这是视线跟踪和其他的语音、地图相结合的典型应用于。

谈及视线跟踪,精度有多少呢?我听得大说道能到3度、2度,我给大展示一下我们这个精度能精确到多少,大看到有一个同事在读电话号码,另外一个同事随着他说道的眼睛去注视,我们能非常快速精确地辨识他眼睛身旁的方位,这是非常精确的一个视线追踪。这是我讲解的未来趋势、功能和现在一些新的技术。

接下来跟大共享一下我们落地的一些工程化的经验。这是典型的智能驾舱视觉算法在不同的硬件产品上应用于,这个硬件是有所不同的SOC,有可能是机,可能是独立的控制器,这是典型机的,还包括大机主流的高通、MTK、NXP、TI这些传统机或者仪表的平台。再有一部分就是独立国家的控制器,典型的就是ADAS、SOC,包括TI、NXP、华为都有,这是工程化实时部署的一些芯片方案。

操作系统可以在安卓上、可以在QNX上,独立国家的控制器一般是在LINUX上。这个也是一个典型的配置方法,通过连接到摄像头去构建算法,算法可以在CPU、NPU甚至GPU上,多样部署不同的计算出来单元,异构的部署。

所乘舱内的视觉用摄像头,我们一般是I2,或者RGBI2,这两类用的比较多。这两类摄像头又分成两种,刚才的摄像头比较慢的那个,就是来介绍区别的,因为它是一行行洗的,人在动的时候图像画面会产生模糊不清,我们要通过图像人工智能算法去处置有所不同的场景,不同摄像头带给的后遗症。从图像的角度大知道越明晰越好,可以根据自己的市场需求去自由选择,同时载有又和传统的里安防环境不一样,整个工况非常复杂,大可以看一下晴天、阴天,还包括太阳照射和斜射,都是基于图象识别的算法需要解决的问题,这些都是工程和算法的问题,在落地过程当中要迈过的槛。

这是我们实际型的图,这款摄像头的质量还不是非常好,补光非常暗,这种情况下我们要辨识出驾驶员是不是疲劳、是不是分神,而且还带上了帽子,这也是在工程落地的时候需要去解决的一个又一个的问题。

还有一个问题,厂经常托给我们,疲劳现在有标准吗?是不是说他失眠几秒钟,通过监测辨别他是3秒、5秒、1秒,确定他否疲惫,疲惫到底是怎么定义?通过视觉来解决疲惫,和真正的人类或者咱们驾驶员的疲劳是什么关系呢?为此我们做到了一个很重要的研究,就是研究人的疲惫。大看我们有一个实验室是专门通过心电图、脑电图去测试人的疲劳,通过传统在心理学、医学上累积的经验去辨别人的疲惫,通过这个依据去检验我们通过视觉定义的疲惫,创建起一一对应的关系,这个大大协助我们如何更加科学、准确地去定义。这是疲劳的一个指数,给大讲解一下,传统定义疲惫只是失眠的时长,现在我们对于疲劳的判断,已经不再局限于眼睛的露齿紧,而是根据眼球动作和面部其他的微小表情来辨别。

所以说所乘舱内视觉方案其实已经不仅仅是视觉算法工程师的天下,而是已经拓展到了心理学、医学等领域,只有仅有方面研究疲劳,才能真正解决实际问题,这个跟最初大说道通过视觉方法来解决问题驾舱问题已经几乎不一样了,尽管我们获取的是视觉解决方案,但我们研究的范畴已经远远超过了视觉。

现在的落地,我们已经拿到了8个厂24款型定点,在未来的三五年内将不会有150万台用我们的智能视觉驾舱解决方案,包括DMS、OMS,大可以想象,很多厂型还在继续定点当中,这个数字只不会越来越大,一直在增长。

接下来用一段视频完结我的演说,这个视频介绍的是我们和合作伙伴延锋一起研发的一个智能驾舱,大可以看到视觉智能在智能驾舱里面的应用,那个摄像头就是DMS的摄像头,视线点亮屏,后面的OMS是识别儿童。

我们跟很多主机厂和tier1有很好的合作,通过视觉及语音多模态交互构建智能化,为驾驶员和乘客获取更好、更安全舒适度的驾乘体验,谢谢大!


新氧 新氧 新氧 新氧 新氧 新氧
推荐文章