利用雷达和单目视觉如何设计一种车辆检测系统?
2024-03-21 21:17:18智能制造解决方案

  对于自主车辆而言,识别障碍车辆是自主车辆环境感知系统中的关键技术。准确地检测前方车辆,对于自主车辆避障具备极其重大的意义。目前国内外学者已经研究出许多车辆识别的算法,如基于视觉信息以及基于激光雷达信息等方法。

  由于视觉图像获取较易、处理方法多样,所以视觉技术是现阶段自主车辆研究中的主要获取信息手段。其中视觉技术大致上可以分为单目视觉和双目视觉。单目视觉识别技术多采用基于车辆特征的方法,该方法主要利用车辆与背景有差异的特征,如纹理、边缘和底部阴影等。

  但这种方法获取的信息量不足,缺乏深度信息,而且易受外部环境的干扰,诸如光照和阴影等因素。双目视觉识别技术虽能取得较好的效果,但其计算量较大,算法复杂,很难保证车辆识别的实时性。

  激光雷达能轻松的获得场景的距离信息,不易受光照等外部条件的影响,但其获取的外部信息不充分,易造成误判。而采用多传感器融合技术能克服单一传感器获取信息量不足,探测范围小的缺点。

  曾杰等分别通过毫米波雷达和摄像头对前方车辆进行仔细的检测,然后分别对雷达和摄像头检测到的目标进行目标一致性检测,可以较为准确地检测出前方车辆的宽度、位置等信息,但此方法需要处理整幅图像,运算量较大,且面对尾部特征复杂的情况时易出现漏检情况。

  杨磊等通过对雷达信号进行预处理,确定感兴趣区域,采用 Canny 算子进行边缘检测,确定车辆的具置,虽然算法较为简单,但易受外部光照环境影响,准确率不够理想。高德芝等采用基于密度的空间聚类算法对雷达信息进行聚类确定感兴趣区域,利用 T- 模糊推理系统融合车辆的灰度、宽高比和信息熵等多个特征验证车辆假设,能轻松实现较好的识别效果,但是算法较为复杂,难以满足实时性要求。

  为了使车辆识别算法具备比较好的准确性,同时减少算法的复杂程度,本文采取了激光雷达和单目视觉两种传感器相结合的车辆识别方法,即先对激光雷达信号进行预处理,并采用最邻近距离法进行聚类,初步确定感兴趣区域,然后对感兴趣区域进行预处理操作,计算感兴趣区域的熵值归一化对称性测度,对初步确定的感兴趣区域做验证,完成对前方车辆的识别。

  该数据库提供了惯导系统、64 线激光雷达、黑白立体摄像机、彩色立体摄像机的同步数据,其中摄像机提供的是去除畸变之后的图像。

  激光雷达以 10 帧 / 秒的速度触发摄像机进行拍摄,因此其时间同步性也得到了保证,同时该数据库对各传感器都进行了标定,标定参数已知。该数据库来测试的车辆的传感器安装的地方如图 1 所示,由于只选取了该数据库中的激光雷达和其中一个彩色摄像头的数据,故图 1 中只标出了这两个传感器的安装位置。

  本文所研究数据的雷达信息由 Velodyne HDL64 线 线激光雷达的点云数据量非常大,约 100 万个点 / 秒。如图 2 所示,若直接对雷达数据来进行分析,系统所需处理的信息量过大,难以满足实时性的要求。因此,在通过雷达数据获取感兴趣区域前,需要对雷达数据进行预处理。

  由图 2 可以看出,未处理的雷达信号将路面也扫描在内,由于本文主要对前方车辆进行检测,因此将高度低于 0.2 m 的雷达信号剔除。汽车在行驶中,位于不同车道内行驶的车辆对于自车的影响程度不同,位于本车同车道的前方车辆和相邻车道的前方车辆对自车的安全影响最大,为了减少处理的数据量,本文算法主要对主车道和旁侧车道的目标进行识别。

  同时根据图 2 所示,在纵向距离 40 m 之后,激光雷达的数据点越来越稀疏,难以提取有效的障碍物信息,而且视觉传感器难以表现 40 m 外目标的特征。综上,将前方纵向 40 m,横向 10 m 作为雷达的有效区域。经过上述预处理的雷达信号如图 3 所示。

  如图 3 所示,经过预处理的激光雷达点较为分散,对于同一个目标,雷达会返回多个值。因此,为了从雷达数据中提取出有效的障碍物信息,需要对雷达数据进行聚类。

  聚类分析作为一种常用的模式识别方法,在处理数据集中发挥着重要的作用,通过对雷达数据进行聚类处理,可以使雷达数据得到简化,判断出车前障碍物的数量和位置。

  常用的聚类方法主要有栅格聚类法、距离聚类法和密度聚类法等,为了减少算法的复杂程度,本文采用最临近距离法对目标进行聚类。

  具体步骤如下:把经过预处理的雷达数据按照与自车的纵向距离由近及远进行重新排列,并按照顺序为各障碍点编号。给 1 号障碍点赋值类别编号为 1,然后按顺序计算之后障碍点与之前所有同类别障碍点之间的欧氏距离。并根据普通车辆的宽度设定预设阈值:

  对雷达进行聚类处理后,将雷达信号由世界坐标系转换至图像坐标系中。对每个类别进行如下操作:在图像坐标系中,将该类别内最左侧的点和最右侧的点分别向左和向右移动 5 个像素点,并将这两个点所在的列作为矩形区域的左右边界。将该类别内最上面和最下面的点分别向上和向下移动 5 个像素点,这两个点所在的行为矩形区域的上下边界。如图 5 所示,矩形区域即为初步获取的感兴趣区域。

  3.车辆特征识别对雷达信号进行处理之后,初步获得的感兴趣区域可能有多个,路牌、树木等无关物体也被检测在内。因此需要对感兴趣区域进一步验证,剔除非车辆的干扰。本文通过检测感兴趣区域的熵值归一化对称性测度来验证目标车辆。

  通过视觉传感器采集的前方道路信息会受到光照等因素的影响,降低其成像质量,因此需要对感兴趣区域进行预处理。通过预处理之后的图像,可以突出有用的信息,去除背景环境的干扰。本文采取的预处理流程包括图像灰度化、图像灰度增强和滤波去噪。

  由于获取的图像为彩色图像,信息量较大,为了减少计算量,需要首先对原始感兴趣区域进行灰度化处理。获取灰度化图像之后,采用直方图均衡化的方法进行灰度增强,增加图像的全局对比度。

  同时,经过灰度处理的图像往往存在噪声干扰,因此需要对图像进行滤波,由于中值滤波在一定程度上可以保留图像细节,而且算法简单,故本文采取中值滤波对图像进行处理。图 6 为原始感兴趣区域,图 7 为预处理之后的感兴趣区域。

  感兴趣区域图像中的车辆尾部具有非常好的灰度对称性。灰度对称性指以车辆区域中线为轴,左右区域的灰度值为轴对称图形。设 R(x) 为 ROI 区域内某一行灰度数据的一维函数,因此其可以被表达为奇函数和偶函数的形式,对应感兴趣区域的对称性测度可以通过其分离出的偶函数所占的比重来决定。

  对感兴趣区域逐行计算其对称性测度,然后求取其平均值,从而获得感兴趣区域的水平灰度对称性测度。

  但是通常情况下,图像中道路及部分背景的灰度图像也具有水平对称性的特点,仅通过灰度图像的水平对称性测度来判断是不够的,容易造成误判,因此需要检测其他特征来增加判断的准确率。本文采用熵值归一化的对称性测度来验证车辆的存在。

  通常情况下车辆所在区域所含的信息量要比背景区域多,因此可以将其作为识别车辆的依据之一。在信息论中,信息熵可以作为特定区域包含信息量的度量,其定义如式(7)所示:

  识别结果如图 8 所示,其中图 8(a)为激光雷达采集到的原始数据,图 8(b)为经过预处理之后的激光雷达数据,图 8(c)为车辆检测结果及对应结果的熵值归一化对称性测度。

  4.2 实验分析除此之外,本文采用上述算法对 KIT⁃TI 数据库中城市道路总计 572 帧的数据做多元化的分析验证。采用本文算法正确识别车辆的数量和处理时间等数据如表 1 所示。

  由表 1 可得,采用本文方法的正确检测率为 91.3%,误检率为 3.5%,漏检率为 8.7%。实验表明该算法在城市道路环境下,具有较好的适应性,能够排除树木、建筑等无关物体的干扰,能较为准确地识别前方车辆,可以满足自主车辆对前方车辆识别精度的要求。由于 KITTI 数据库采集数据的频率为 10 Hz,本文算法的平均处理时间为 34 ms,可以满足实时性的要求。

  针对此种情况,可以将雷达的识别范围动态化,使识别范围随车辆行驶的条件而变化,即首先进行道路识别,提取可通行道路区域,然后根据可通行道路区域识别的结果确定雷达的有效识别区域,降低漏判率,提升自主车辆的安全性能。

  针对此种情况,可以在原有基础上进一步检测感兴趣区域的其他特征,例如底部阴影、宽高比和边缘特征等,综合考虑多种特征,减少非车辆目标对检测算法的影响。

  本文提出了一种模型较为简练的基于雷达信息和单目视觉信息的前方车辆检测方法。该方法利用激光雷达信息初步划分车辆检测的感兴趣区域,并通过检验测试感兴趣区域的熵值归一化对称性测度完成对前方车辆的确认。

  关键字:引用地址:利用雷达和单目视觉,如何设计一种车辆检测系统?上一篇:

  当前汽车的传感器融合 传感器融合这一概念涵盖所有类型的传感器。典型的例子是将前置摄像头和前置雷达提供的信息融合。摄像头只能在可见光谱下工作,不适用于雨天、浓雾、太阳眩光和黑暗等环境,但是在识别颜色(如道路标记)方面具有高度可靠性。而雷达即使在低分辨率下,也可用于探测距离,并且环境条件对雷达没有过大影响。 将前置摄像头和雷达传感器融合的典型ADAS功能包括: 自适应巡航控制(ACC) - 适应交通状况的速度。当前方车辆的距离低于安全阈值时, 速度会降低。当道路畅通或到下一辆车的距离在可接受范围内时,ACC会加速回到设定的速度。 自动紧急制动(AEB) - 通过降低特定碰撞情况下的速度或在危急情况下警告驾驶员来

  的ADAS硬件在环测试台 /

  技术描述: 作为业内最早布局自主芯片技术的激光雷达公司之一,RoboSense继实现M系列量产交付后,又推出了基于自研芯片和二维扫描技术的E1。E1基于RoboSense自研芯片和二维扫描技术,集成了发射、接收和信号处理三大核心芯片,极大简化了电路设计和生产工序,从而更具有成本效益和可靠性。E1拥有120°(H)×90°(V)的超广FOV,支持高达30Hz的超高刷新帧率,具有30m@10%的更强测距能力,感知盲区仅≤0.1m。E1通过配合M系列新产品,成为无人驾驶系统实现360°无盲区感知的最优选择。 独特优势: 得益于RoboSense基于自研芯片和二维扫描技术打造的E平台,E1的关键性能指标均为行业最佳,其独特

  E1 /

  经过专业机构的严格审查,长光华芯顺利通过IATF16949:2016质量管理体系认证,标志着长光华芯在要求极为严苛的汽车零部件市场取得了权威且必要的准入资质,为扩展汽车激光雷达市场奠定了基础。 “IATF16949质量管理体系认证 “ 什么是IATF 16949? IATF16949全称为“质量管理体系---汽车行业生产件与相关服务件的组织实施ISO9001的特别的条件”,是全世界汽车行业的技术规范和质量管理标准。IATF 16949对产品质量的管控有更严格细致的要求,它以全面质量管理的理论和方法为基础,吸收并借鉴了世界知名质量专家的实践和观点,是一套以质量为中心、综合的、全面的管理方式和管理理念,被誉为浓缩的MBA,是未来

  自动驾驶逐步落地有望带领激光雷达持续放量,未来国内将有更多搭载激光雷达的车型上市。激光雷达产业链上游壁垒较高,当前我国激光雷达上游核心器件仍以进口为主;中游竞争格局尚为定型,国产厂商仍有较多机遇。展望后续,固态补盲及芯片领域给予国产厂商较多成长空间,未来或是国产替代的重点领域。这篇文章着重解析了Innoviz、Luminar、Velodyne&Ouster、Aeva等海外厂商近期产品进程和量产节点 。 中国无人驾驶渗透率提升,车载激光雷达前景广阔。根据沙利文预测,2025年全球激光雷达市场规模有望达到 135.4亿美元,中国激光雷达市场规模预计达 43.1亿美元,占比 31.8%。我们大家都认为,随着AI和无人驾驶技术的加快速度进行发展,中

  海内外厂商梳理 /

  北京时间2月9日,启明创投投资企业、全球激光雷达行业领导者禾赛科技成功登陆纳斯达克。禾赛科技(NASDAQ: HSAI)发行价为19美元/ADS,开盘价23.75美元/ADS,上涨25%,市值29.8亿美元。 作为科技与创新的紧密连接者,启明创投长期关注自动驾驶领域的创新和变革。2019年启明创投参与禾赛科技C轮融资,并在D轮融资中继续投资。禾赛科技的成功上市,是启明创投2023年开年以来迎来的第三个IPO。 禾赛科技于2014年创立于中国上海,秉持着“赋能机器人,让人类生活更高效舒适”的使命,其产品大范围的应用于支持高级辅助驾驶系统(ADAS)的乘用车和商用车,以及无人驾驶汽车。禾赛科技的激光雷达技术也致力赋能各类机器人应用

  2017年亚洲消费类电子科技类产品展览会(CES Asia 2017)于北京时间2017年6月7日至9日在上海举办。我们显而易见,此次众厂商在 无人驾驶 方面的布局有所增加,宝马公司以及英特尔公司也分别开展了试驾活动和无人机的展示。我们大家可以肯定的是, 无人驾驶 是汽车的未来,但众多传感器是实现 无人驾驶 必不可少的,尤其是 激光雷达 ,更是重中之重。下面就随汽车电子小编共同来了解一下相关联的内容吧。 无人驾驶即将爆发:激光雷达必不可少 激光雷达 (LiDAR)是无人驾驶汽车中最强大的传感器之一。它可以区分真实移动中的行人和人物海报、在三维立体的空间中建模、检测静态物体、精确测距。它是通过发射激光束来探测目标位置、速度等特征

  据外媒报道,因变革性固态FLASH架构而闻名的 激光雷达 公司Sense Photonics郑重进入了汽车市场,推出了首款用于高级驾驶辅助系统(ADAS)和 无人驾驶 的 模块化 FLASH 激光 雷达 – Osp rey,该组件售价为3200美元,现在已经开放预订。 Osprey的出现是一个重要的汽车里程碑,开启了全固态深度传感的新时代。Osprey的垂直视野为75度,而且视野非常宽且密集,能够以高分辨率在道路边沿至地平线范围内探测目标。该激光雷达被设计成一个易于集成的模块包,结合了车用级近场 传感器 与Sense Illu mi nator,后者是一个专有的VCSEL激光阵列,由数千个独立的激光元件组成。Sense Pho

  2017年,搭载法雷奥激光雷达的 奥迪A8 ( 参数 询价 ) ,成为了第一台实现L3级无人驾驶的量产车,但它的出现并没有让激光雷达迅速走进我们的生活,也没有让高级别无人驾驶迅速铺开,它更像是一个开创者,象征意义大于实际意义。而近年来,随着激光雷达的成本逐渐降低,慢慢的变多的车型开始搭载激光雷达,新势力和转型的传统车企们已经不拘泥于用一颗,多颗激光雷达上车已不再新鲜。 而我们会发现一个共同点,如今新款车型上搭载的激光雷达类型,大多为混合固态激光雷达(半固态激光雷达)。比如最近开始交付的蔚来ET7、每周三爆料的理想L9等。而使用混合固态激光雷达来实现L3、L4甚至更高级别无人驾驶,是接下来车企们主推的激光雷达方案。

  :都知道纯固态好,但量产车为什么都用半固态? /

  与应用算法


  简介

  探测及三维成像研究进展

  3D机器视觉技术研讨会

  基于 Jacinto™ TDA2x SoC 和深度学习的实时 mmWave 和相机传感器融合系统设计

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!第三期考题上线,跟帖赢好礼~

  恩智浦与NVIDIA合作,将TAO工具套件集成到恩智浦边缘设备,加速人工智能部署

  恩智浦与NVIDIA合作,将TAO工具套件集成到恩智浦边缘设备,加速人工智能部署●恩智浦是首家将NVIDIA TAO工具套件API直接集成到其人工智能 ...

  赛昉基于RISC-V的JH-7110智能视觉处理平台采用了芯原的显示处理器IP

  芯原可扩展且灵活的DC8200 IP可提供显示设备自适应能力和高质量显示效果,赋能沉浸式视觉体验2024年3月21日,中国上海芯原股份(芯原 ...

  AD52060兼容替代TPA3110,AD52050兼容替代TPA3136

  AD52060是一款高效立体声D类功放,它的供电范围较宽(8V~26V),能方便地与各型电源板,包括LED液晶电源板、电源高压二合一板等相连接;输出功 ...

  AD85050支持2x30W立体声,60W单声道数字音频放大器,带频率平衡功能

  AD85050是一款数字输入音频放大器。能够驱动一对8Ω的扬声器到达30W,或单个4Ω的喇叭输出功率60W。在耳机输出模式下,可驱动32Ω的负载到2 ...

  IU5066耐压33V带OVP保护1.2A单节锂离子线E是面向空间受限便携应用的,高度集成锂离子和锂聚合物线性充电器器件。该器件由USB端口或交流适配器供电。带输入过压保护的高输入电 ...

  IU5706可升压到33V给CS8683H,CS8685H,IU8687,IU8689供电,可实现300W输出

  IU8689带主从模式,145W单声道2X75W立体声D类音频功放

  IU8373兼容CS83711,两节锂电8.4V供电内置升压17W立体声D类音频功放IC

  IU8309单双节锂电内置升压12V,输出25W单声道AB/D类音频功放IC

  嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科词云:

Copyright © 2018 BOB电子(中国)官方网站 All Rights Reserved
网站地图 备案信息: 湘ICP备14017517