事件相机的工作原理和应用场景
2024-02-21 05:05:52解决方案

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  高通在移动处理器行业拥有无可争议的霸主地位,虽然说目前已经有其他芯片厂商对高通形成压力,但其优势依旧很明显,各大品牌的旗舰机几乎都清一色使用了高通芯片,下半年预计将会有更多使用高通芯片的高端产品。目前业内有关人员分析了高通中国的一些战略思路,并分享了完整详尽的高通处理器、基带路线图。 首先来看看高通在今年的芯片策略,高端市场的优势不用多言,但目前中低端则面临着联发科的严峻挑战,并且高通最有优势的4G方面已经受到海思、联发科和英特尔的多家突破,下半年将会持续狠抓4G,尤其是提前将64位八核心带到中国,无论价格、支持都会更加务实。 具体芯片方面,今年下半年除了骁龙805的全面商用外,还会带来全新的骁龙615、骁龙610和骁龙

  此次价值观将揭秘荣耀畅玩9A的成本及元器件数量分布。 荣耀畅玩9A全部703个组件中,日本提供546个组件,占总共的77.7%,组件数占比最高,成本占比6%,主要区域在器件和连接器; 中国提供140个组件,占总共的19.9%,成本占比58.8%,成本占比最高,主要区域为IC、屏幕、电池非电子器件、连接器等; 美国提供13个组件,占总共的1.8%,成本占比33.9%,主要区域在IC; 其它国家和地区提供4个组件,占总共的0.6%,成本占比1.3%,另外组装成本为3.8美元。 我们归纳整理了元器件成本TOP5,RAM、屏幕、ROM、SoC、电池悉数上榜。碍于其定位和售价,整机并没有过于出色的地方。5000mAh的大电池容量,作

  成本占比近6成 /

  这两个月似乎一直有索尼的手机曝光,要么是跑分网站“出卖”,要么是合作运营商说漏嘴。现在又一款索尼旗舰机型在跑分网站GeekBench上曝光。 据悉,这款曝光的索尼机型在GeekBench上显示型号为90QB16R,采用高通骁龙845处理器,4GB运行内存,应该属于旗舰机型。 从跑分来看,这款机型的单核跑分为2367分,多核跑分为8255分,运行Android 8.0 Oreo系统。其他的信息就没什么了。 跑分数据(图片来源于网络) 有分析认为,这应该是索尼两款旗舰手机Xperia XZ2和Xperia XZ2 Compact的其中一款的衍生型号,否则一口气推出三款旗舰机型实在不符合商业规律。 据了解,Xperi

  到2018年的10月31日就是努比亚手机的成立六周年,自2012年成立以来,努比亚一直在致力于探索当今便携设备的前沿科技。从可以拍银河的强劲拍照,到无边框设计的屏幕,今年在柏林IFA上惊艳登场的柔性屏努比亚-α,并还有前不久刚发布的“无边水滴屏”——努比亚Z18旗舰手机,在手机的前沿科技上,努比亚并没有停止脚步。 在10月8日的下午,努比亚智能手机总经理倪飞先生在其微博上发布了一张预热海报,并配文:“6周年诚意之作,迄今为止,最全面的全面屏!”。有必要注意一下的是,他的这条微博尾巴是来自于一款名为:“努比亚X 护眼双屏”的手机产品,而6周年意味着这款手机有很大的可能性将会在10月31日正式亮相。 其实根据此前的谍照,我们对这款神

  OPPO去年推出的R9和R9s市场反响火爆,蝉联多季度销量冠军,也让其他厂商重新认识到线下渠道和广告营销的威力。近日,微博网友@KK低调曝光了OPPO下一代旗舰产品。根据OPPO半年发布一款新品的惯例来看,R11似乎已经整装待发了。 网友爆料OPPO新机信息 虽然官方并未透露新机的消息,不过还是逃不过万能网友的火眼金睛。微博网友@KK低调爆料称:“OPPO R10(或叫R11)将配5.5寸,Plus是6.0寸触,都会采用双摄像头设计,除了机身大小不一样之外,其他配置都完全相同。ps 下面黑色真机适配过。” 同时该网友还放出了适配了OPPO新品的黑色保护壳和新机渲染图。 网友曝光OPPO R11保护壳 从渲染图上看,

  5月7日上午消息,不光三星在准备Galaxy S5的高配版,现有消息表示,HTC也在准备推出M8的高级版。 据悉,HTC One M8 Prime版将会配备5.5寸屏,分辨率为1440×2560像素,同时搭载主频为2.3GHz的高通APQ8084处理器,内置基带为MDM9X35,支持LTE网络,内置RAM为3GB。依然是双摄像头的设计,不过主摄像头变成了1800万像素。 目前关于HTC M8 Prime的具体配置以及价格,上市时间等信息我们都尚未得知。(基德)

  中关村在线消息:近日nubia在其官方微博放出了一张宣传图,预示着在本周或许会有新机发布。无独有偶,最近网络上出现了据称是nubia X8新机细节照片,看起来该机配备了侧边指纹识别功能,机身金色。 疑似侧边指纹识别Home按键(图片引自微博) 音量键与指纹识别键位于同一侧(图片引自微博) 金属中框+双面玻璃设计(图片引自微博) 据微博传言,nubia X8将会搭载骁龙820处理器,结合海报图屏幕可能采取nubia Z9式的无边框设计。机身金属边框+双面玻璃,配有侧边指纹识别。从图中还可看出音量控制键与指纹识别按键同位于机身右侧。 nubia新品预告(图片引自微博)   编辑点

  1 月 12 日消息,根据美国商标和专利局(USPTO)近日公示的清单,苹果公司获得了控制器相关的设计专利,采用 Apple Pencil 的笔状设计,可配合头显、Mac、iPhone、iPad、电视和游戏主机使用。 根据专利描述,该控制器虽然采用 Apple Pencil 的笔状设计,但可以拆分成两个不同的组件,用作 Apple Vision Pro 类型设备的控制器。 该控制器内含各种传感器,IT之家附上相关传感器介绍如下: 带有加速度计的惯性测量单元: 用于收集控制器动作的信息,如轻扫动作、挥动动作、书写动作、绘图动作、摇动动作、旋转等。 无线通信电路: 用于与头戴式设备等外部设备通信。 跟踪功能: 例如可通过外部电子设

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!跟帖赢好礼~

  电源小课堂 从12V电池及供电网络优化的角度分析电动汽车E/E架构的趋势

  解锁【W5500-EVB-Pico】,探秘以太网底层,得捷电子Follow me第4期来袭!

  在低收入经济体中,家庭菜园的成功具有巨大意义,但与大型商业农场一样,他们也受到气候平均状态随时间的变化的影响。 在经济欠发达国家,农业是国内生产总 ...

  Microchip推出业界首款提供高达25 Gbps高速网络接口的主时钟产品TimeProvider® 4500系列

  进一步扩展旗下IEEE®-1588主时钟产品组合,可实现小于1纳秒的精确时间精度5G电信、电力设施和交通等关键基础设施细分市场的运营商需要利用 ...

  电驱动系统在驱动新能源汽车行驶过程中,将电池包的电能转化成电机转动的动能。能量在转化过程中,损失的能量以热能的形式反映出来。车用电 ...

  随着经济的加快速度进行发展,中国机动车保有量突破4 26亿辆,成为全世界机动车保有量最大的国家,汽车数量的飞速增加导致各类交通事故频发,造成大量 ...

  电机控制器,作为电动汽车的核心部件之一,是汽车动力性能的决定性因素。它从整车控制器获得整车的需求,从动力电池包获得电能,经过自身逆 ...

  嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科词云:

Copyright © 2018 BOB电子(中国)官方网站 All Rights Reserved
网站地图 备案信息: 湘ICP备14017517