欧盟自动驾驶多传感器长期数据集

　　

　　摘要

　　随 着传感器技术的快速发展，自动驾驶领域在过去几年里飞速发展。 使用传感器的主要目的之一是为车辆理解、学习和推理 提供环境感知，并最终与环境互动。 在本文中，我们首先介绍了一个多传感器平台，使车辆 能够感知其周围环境，并以更有效和准确的方式定位自己。 该平台集成了 11 个 异构 传感器，包括各种相机和激光雷达、一个雷达、一个 IMU （惯性测量单元）和一个 GPS-RTK （全球定位系统 / 实时运动学），同时利用基于 ROS （机器人操作系统）的软件来处理感官数据。 然后，我们提出了一个新的数据集 ，为自动驾驶捕捉了许多新的研究挑战 ( 例如高动态环境 ) ，特别是长期 自动驾驶 驾驶（如创建和维护地图），用我们的仪器车辆收集，公开向社会提供 。

　　数据集链接：

　　（https://epanutbm.github.io/utbm_robocar_dataset/）

　　I.简介

　　在过去的几年里，自动驾驶的学术研究和工业创新都有了巨大的发展，预计在未来几年内还会继续快速增长。这可以由两个因素来解释，包括：

　　1）硬件（如传感器和计算机）和软件（如算法和系统）的快速发展；

　　2）随着人类社会的发展，对出行安全、高效和低成本的需求。

　　无人驾驶车辆自主导航的一般框架由四个模块组成，包括传感器、感知和定位、路径规划和决策，以及运动控制。

　　通常是让车辆回答三个问题。"我在哪里？"、"我周围有什么？"、"我应该做什么？" 。如图1所示，车辆通过各种传感器获取外部环境数据（如图像、物体的距离和速度）和自我测量数据（如位置、方向、速度和里程）。感知数据然后被传递到感知和定位模块，帮助车辆了解其周围环境，并在预先建立的地图中定位自己。

　　

　　图1. 基于地图的AD系统的通用多传感器框架[5]。

　　此外，车辆不仅要了解所发生的事情，还要了解它周围发生的事情（例如用于预测）[1], [2]，它可能同时用当地环境的描述来更新地图，以实现长期自主性[3], [4]。之后，根据车辆本身和其他物体的姿态，由全局平面器生成路径，并可由局部平面器根据实时情况进行调整。然后，运动控制模块将计算电机参数以执行路径并向执行器发送命令。沿着这四个模块的循环，车辆可以通过一个典型的"看-思考-行动 "的循环进行自主导航。

　　众所周知，有效的感知和定位是自动驾驶车辆在我们日常生活中安全和可靠运行的许多模块中最重要的部分。前者包括对内部（如车辆的速度和方向）和外部（如人、物体和交通标志）环境信息的测量，而后者主要包括视觉测距/SLAM（同步定位和制图）、地图定位和地点识别/重新定位。这两项任务密切相关，都受到所使用的传感器和它们提供的数据的处理方式的影响。

　　如今，异构传感系统被普遍用于机器人和自动驾驶车辆领域，以产生全面的环境信息。常用的传感器包括各种相机、2D/3D激光雷达（LIGHT Detection And Ranging）、雷达（RAdio Detection And Ranging）、

　　IMU（惯性测量单元）和GNSS（全球导航卫星系统）。这些的组合使用主要是由于不同的传感器有不同的（物理）特性，而且每一类都有自己的优点和缺点[6]。另一方面，ROS（机器人操作系统）[7]已经成为事实上的机器人软件开发的标准平台，如今例如，在2017年的ROSCon上，有7个基于ROS的新兴AD系统，而在2016年这个数字是零。

　　在本文中，我们报告了自2017年9月起在法国贝尔福特-蒙特布利亚科技大学(UTBM)制造自动驾驶汽车的进展，重点关注已完成的多传感器平台。首先，我们介绍了用于高效车辆感知和定位的各种传感器，同时说明了选择这些传感器的原因、安装位置，以及我们在系统配置中所作的一些权衡。

　　其次，我们提出了一个新的AD数据集，完全基于ROS，由我们的平台在城市和郊区记录，所有的传感器都经过校准，数据近似同步（即在软件层面，除了两个三维激光雷达通过与定位卫星通信在硬件层面同步），并提供由GPS-RTK记录的车辆定位的地面实况轨迹。

　　该数据集包括许多城市和郊区驾驶的新特征，如高动态环境（车辆里程数中的大量移动物体）、环岛、坡路、施工绕行、侵略性驾驶等，由于它捕捉到了日常和季节性的变化，因此特别适合长期的车辆自动驾驶研究[8]。

　　此外，我们实施了最先进的方法作为激光雷达测距基准的基线。最后，我们通过与现有数据集的横向比较来说明拟议数据集的特点。

　　自动驾驶汽车的起步可能是一个挑战和耗费时间的过程。因为人们必须面对设计、预算和成本控制方面，以及从硬件（尤其是各种传感器）到软件层面实施的困难。本文也希望通过对我们经验的全面总结，帮助读者快速克服类似的问题。我们希望这些描述能给社会提供实际的参考。

　　II.平台

　　到目前为止，还没有万能的、完美的传感器，它们都有局限性和优势。例如，GNSS擅长导航，在所有天气条件下都能工作，但其更新频率和精度通常不足以满足AD的要求。此外，城市环境中的建筑物和基础设施很可能会阻碍信号，从而导致在许多日常场景中的定位失败，如城市峡谷、隧道和地下停车场。

　　

　　在视觉和测距传感器中，三维激光雷达通常是非常准确的，并且有一个大的视场（FoV）。然而，从这种传感器获得的稀疏矩阵和几何数据（即点云）在语义相关的感知任务中的能力有限。此外，在车辆高速行驶的情况下，由于扫描失真，相关信息不容易被提取（可以通过移动补偿来缓解）。

　　此外，激光雷达的性能受到恶劣天气条件的影响，如雾、雨和雪[9], [10]。二维激光雷达显然也有类似的问题，由于只有单一的扫描通道和降低的视场角，进一步的限制。

　　然而，二维激光雷达通常比三维激光雷达便宜，后者有成熟的算法支持，并且在移动机器人技术中被广泛用于测绘和定位问题，时间足够长。视觉相机可以将丰富的语义和纹理信息编码到图像中，而对于亮度和明度的变异则会导致稳健性较低。雷达对光线和天气变化具有很强的稳定，但距离感知精度较低。

　　总之，依靠单一的传感器类型来实现本文所关注的AD的有效感知和定位是困难的。因此，研究人员和行业必须利用不同传感器的优势，使多传感器系统与单个传感器相得益彰。

　　表一总结了常用传感器的典型优点和缺点。

　　A. 硬件

　　我们自动驾驶汽车的传感器配置如图2所示。 它对外部环境感知的设计主要坚持两个原则（见图3）：

　　1) 尽可能地加强视觉范围,；

　　2) 最大限度地扩大多个传感器所感知的重叠区域。

　　特别是：

　　● 两个立体摄像头，即前置Bumblebee XB3和后置Bumblebee2，分别安装在车顶的前后。这两款相机均采用CCD（电荷耦合器件）传感器，采用全局快门模式，与滚动快门相机相比，它们在车辆高速行驶时更具优势。特别是，在全局快门模式下，拍摄的图像中的每个像素都在同一时刻同时曝光，而在滚动快门模式下，曝光通常以波浪形式从图像的一侧移动到另一侧。

　　

　　图2. 所使用的传感器及其安装位置。

　　

　　图3. 车辆传感器的可视范围。

　　● 两台Velodyne HDL-32E激光雷达安装在车顶前部，并排安装。每个Velodyne激光雷达有32个扫描通道，360o水平视场和40o垂直视场，据报道测量范围可达100米。值得注意的是，当使用多个Velodyne激光雷达彼此靠近时，就像我们的情况一样，由于一个传感器接收到另一个传感器的反射，感官数据可能会受到影响。为了减少激光雷达相互干扰的可能性，我们使用其内置的锁相功能来控制数据记录中激光环重叠的位置，并对其进行后期处理以消除每个激光雷达传感器后面的数据阴影。详情见第二节B.2。

　　● 两台带有Fu-jinon FE185C086HA- 1 鱼眼镜头的Pixelink PL-B742F工业相机被安装在车顶中间，面向车辆的横向两侧。该相机具有CMOS（互补金属氧化物半导体）全局快门传感器，可以冻结高速运动，而鱼眼镜头可以捕捉到极广的视角（185o）。这种设置，一方面增加了车辆对两边侧向环境的感知，这一点到目前为止还没有得到很好的研究，另一方面也为Velodyne激光雷达增加了一个语义上的补充。

　　● ibeo LUX 4L激光雷达被嵌入到靠近汽车Y轴的前保险杠中，它提供了四个扫描层，85o（或110o，如果只使用两层）的水平视场，以及远达200米的测量范围。与雷达一起，它们对我们的系统极为重要，以确保车辆本身以及车辆前方附近的其他物体（尤其是人）的安全。

　　● 一台大陆公司的ARS 308雷达被安装在靠近ibeo LUX激光雷达的位置，这台雷达对于探测移动物体（即速度）非常可靠。虽然在角度上不如激光雷达精确，但雷达几乎可以在所有条件下工作，有些模型甚至使用反射来观察障碍物的后面[11]。我们的平台旨在通过 "交叉检查 "雷达和激光雷达数据来检测和跟踪汽车前方的物体。

　　● 一台SICK LMS100-10000激光测距仪（即2D激光雷达）面向道路，安装在前保险杠的一侧。它以二维极坐标测量其周围环境，并提供270o的视场。由于其向下的倾斜度，该传感器能够扫描道路表面，并提供有关道路标记和道路边界的信息。工业界也推荐结合使用ibeo LUX和SICK激光雷达，即前者用于物体检测（动态），后者用于了解道路（静态）。

　　● 一个Magellan ProFlex 500 GNSS接收器被放置在车内，车顶上有两根天线。一根天线安装在垂直于汽车后轴的Z轴上，用于接收卫星信号，另一根天线放置在车顶后部，用于与RTK基站同步。在RTK增强的帮助下，GPS定位将得到修正，定位误差将从米级降至厘米级。

　　● 一个Xsens MTi-28A53G25 IMU也被放置在车内，发出线性加速度、角速度、绝对方向等。

　　值得一提的是，我们在传感器配置中做出的权衡是并排使用两个Velodyne 32层激光雷达，而不是采用单个激光雷达或其他型号。其原因有两个方面。

　　首先，在单一激光雷达解决方案中，激光雷达被安装在车顶中间的 "塔 "上，以消除车顶造成的遮挡，从工业设计的角度来看，这不是一个有吸引力的选择。其次，其他型号如64层激光雷达比两台32层激光雷达贵，而两台32层激光雷达比两台16层激光雷达贵。因此，我们使用一对32层激光雷达作为传感效率和硬件成本之间的权衡。

　　关于感官数据的接收，ibeo LUX激光雷达和雷达连接到一个定制的控制单元，用于车辆的实时处理和低水平控制，如转向、加速和制动。这个设置是非常必要的，因为这两个传感器对CAN总线的实时响应对于驾驶安全来说是极其重要的。

　　所有激光雷达通过高速以太网，雷达通过RS-232，摄像机通过IEEE 1394，GPS/IMU通过USB 2.0，都连接到DELL Precision Tower 3620工作站。后者仅用于数据收集，而专用的嵌入式自动化计算机将被用作主计算机，确保最重要的系统模块的运行，如SLAM、点云聚类、传感器融合、定位和路径规划。

　　然后，一台游戏笔记本电脑（配备高性能GPU）将作为从属单元，负责处理计算量大、算法复杂的工作，尤其是视觉计算。此外，我们目前的系统配备了两个60Ah的外部汽车电池，可以为我们提供超过一小时的自动驾驶。

　　B. 软件

　　我们的软件系统完全基于ROS。为了收集数据，所有的传感器都物理连接到DELL工作站上，所有的ROS节点都在本地运行。这种设置最大限度地提高了软件层面的数据同步性（由ROS标记时间）。基于ROS的软件架构图和每个传感器的数据采集的发布频率如图4所示。

　　值得指出的是，收集工作是在仅有CPU（英特尔i7- 7700）的计算机上进行的，同时没有发现数据延迟。这主要是由于我们只记录了原始数据，将后处理留给了离线回放。同样值得注意的是，我们专注于提供纯基于ROS- 1(可作为ROS-2的参考)的车辆感知的开拓性经验，而放开了车辆监管层面的数据收集。

　　此外，由于我们提供来自不同设备的原始数据，最终用户可以进行高级处理，如移动补偿。

　　1) 传感器校准：我们所有的相机和激光雷达都进行了内在的校准，而校准文件与数据集一起提供。相机的校准是用ROS相机校准包的棋盘进行的，而激光雷达是用工厂的固有参数。立体相机也与Velodyne激光雷达进行了校准。通过在有几个地标的结构化环境中驾驶汽车，通过最小化来自不同传感器的点的体素级L2距离来估计激光雷达的外在参数。

　　

　　图.4. 基于ROS的数据采集软件架构图。数据以rosbag格式保存。请注意，为了方便读者再现系统，我们为每个传感器驱动程序指定了ROS包名称而不是ROS节点名称。然而，ROS主机实际上与包提供的节点通信。

　　

　　图5. ROS Rviz用校准传感器收集的数据截图。自动驾驶汽车在图片的中央，前面是一辆卡车。红色环点来自Velodyne激光雷达，白色点来自SICK激光雷达，彩色点来自ibeo LUX激光雷达。汽车前后的点云来自两个Bumblebee 立体摄像头。

　　为了校准立体相机和Velodyne激光雷达之间的转换，我们把车开到一个建筑物的拐角处，手动对准三个平面上的两个点云，即两面墙和地面。图5中显示了一个对齐的传感器数据。可以看出，通过校准，所有激光雷达和立体相机的点都正确地对齐了。

　　2) 两个Velodyne激光雷达的配置:如前所述，两个Velodyne激光雷达必须进行适当的配置，以便有效地工作。首先，需要设置每个传感器的锁相功能，以便根据每秒脉冲（PPS）信号，同步两个激光雷达的相对旋转位置。而后者可以从连接到激光雷达的接口箱的GPS接收器中获得。在我们的案例中，即两个传感器被放置在车顶的左右两侧，左边的传感器的锁相偏移被设置为90°，而右边的传感器被设置为270°，如图6所示。

　　其次，公式1[12]可以用来消除由于阻塞或来自对立传感器的反射（即数据阴影在对方后面，见图7）而产生的任何多余的数据:

　　

　　

　　图6.两个并排安装的Velodyne激光雷达的相位偏移设置

　　

　　图7.一对Velodyne激光雷达后的数据阴影。

　　其中，θs是夹角，Dsensor是远处传感器的直径，dsensor是传感器中心之间的距离。

　　此外，为了避免传感器的广播数据导致的网络拥堵，我们将每个Velodyne（SICK和ibeo LUX激光雷达也是如此）的数据包通过一个独特的端口传输到一个特定的（即非广播的）目标IP地址（在我们的案例中，是工作站的IP地址）。

　　III.数据集

　　我们的记录软件已经完全落实到ROS系统中。数据收集是基于Ubuntu 16.04 LTS（64位）和ROS Kinetic进行的。车辆由人驾驶，任何ADAS（高级驾驶辅助系统）功能都被禁用。数据收集是在法国蒙特布里亚尔的市中心（用于长期数据）和郊区（用于环岛数据）进行的。

　　车辆速度被限制在50公里/小时，符合法国交通规则。可以想象，白天的城市场景（记录时间为15时至16时左右）是高度动态的，而晚上（记录时间为21时左右）则相对平静。夏季光线和植被（尤其是行道树）都很充足，而冬季一般光线不足，植被很少，有时甚至被冰雪覆盖。

　　所有的数据都被记录在rosbag文件中，以方便与圈内分享。数据收集的路线可以在图8中看到，这些路线是经过多次试验后精心挑选的。

　　对于长期数据，我们关注与周期性变化密切相关的环境 [13], [14] ，如每日、每周和季节性变化。我们在不同的时间沿着同样的路线走了 11 个 圈 。 每轮数据记录的长度约为 5 公里，路线经过市中心、一个公园、一个住宅区、一个商业区和杜斯河上的一座桥，并包括一个小的和一个大的公路环线（用于环线封闭）。

　　

　　图8. 在谷歌地图上绘制的数据收集路线。左:长期数据。右:绕行数据。

　　RTK基站被放置在土丘上的一个固定位置--图8（左）中红点标记的位置（海平面357米）--以便与车上的GNSS接收器进行通信，并尽量减少信号干扰。通过这些设置，我们在白天、晚上、一周内、夏天和冬天（有雪）都记录了数据，始终遵循相同的行程。同时，我们捕捉到了许多新的研究挑战，如上坡/下坡路、共享区、道路分流和高动态/密集交通。

　　此外，环岛在法国以及其他欧洲国家都非常 关键是要准确预测其他车辆的行为。为了促进这一课题的相关研究，我们在UTBM Montbeliard校区附近的区域反复记录了一些数据，该区域包含10个大小不一的环形交叉路口，面积约为0.75平方公里（见图8（右））。

　　A. Lidar Odometry 基准化

　　作为数据集的一部分，我们建立了几个激光雷达测距的基线，这是我们数据集提供的挑战之一。我们分叉实现了以下最先进的方法，并在我们的数据集上进行了实验:

　　● loam velodyne[15]是最先进的激光雷达测距方法之一，为三维激光雷达提供实时SLAM，在KITTI基准中提交了最先进的性能[16]。该实施方案对结构化（城市）和非结构化（高速公路）环境都是稳健的，并为高速驾驶设计了一个扫描恢复机制。

　　● LeGO-LOAM[17]是一个轻量级和地面优化的LOAM，主要是为了解决资源有限和在嘈杂环境下工作时LOAM的性能下降的问题。在LeGO-LOAM中进行点云分割，以舍弃可能代表地面分离后不可靠特征的点。

　　我们鼓励用户评估他们的方法，与不同计算能力级别的设备上提供的基线进行比较，并将结果提交到我们的基线GitHub存储库。然而，只有实时性能是被接受的，因为它对AD车辆本地化是至关重要的。

　　B.长期自主

　　为了实现一个现成的AD系统，长期的自主性是必要的，包括长期的车辆定位和绘图以及动态物体预测。为了这个目标，我们引入了 "自我意识的定位"、"责任意识的长期映射 "的概念，以提高车辆在现实生活和不断变化的环境中定位的稳健性。

　　更具体地说，对于前者，车辆应该得到全球定位技术的支持，例如全球姿势估计[18]和环路闭合检测[19]，以便能够在任何先前已知的位置唤醒。而“责任意识的长期映射”使车辆能够长期维护地图，保持地标的变化更新和扫描地图配准的优度评估[3]。

　　此外，提出的长期数据集可用于预测动态物体（如人类和汽车）的占用和存在。 可以使用频率建模[1]或循环神经网络（RNN）[3]对周期性布局变化和人类活动进行跟踪和建模。预测的占用图和人类活动模式最终可以促进动态城市环境中的车辆运动规划。

　　在本文中，我们提出了具有不同亮度和地标的多场驾驶数据，并提出了长期定位和映射以及动态物体预测等开放性问题，鼓励研究人员利用我们的专用数据集研究潜在的解决方案。

　　C. 绕行挑战

　　绕行是不可避免的，对AD来说可能是非常大的挑战。法国拥有世界上最多的环岛路（约5万个），种类相当丰富。我们提供的各种环岛数据，旨在进行车辆行为预测的相关研究，并帮助减少这种情况下的汽车碰撞事故。一方面，人们可以从图像中获得有关汽车转向灯的信息，甚至车轮的转向信息。另一方面，由于我们为每个环岛开了一整圈，用户可以有一个长期连续的数据来学习和预测周围车辆的轨迹。

　　IV.相关工作

　　在过去的几年里，出现了许多关于AD的平台和资源，引起了了公众的注意。AnnieWAY平台及其著名的KITTI数据集[16]一直在圈内显示出强大的影响力。该数据集是最广泛使用的AD视觉感知数据集，由OXTS RT 3003 GPS/IMU集成系统、Velodyne HDL-64E 3D激光雷达、两台Point Grey Flea 2灰度相机和两台Point Grey Flea 2彩色相机组成的传感系统记录。

　　通过这种配置，仪器车辆能够每秒产生10个激光雷达帧，每帧有10万个点，用于基于激光雷达的定位和三维物体检测，

　　两个灰色图像用于视觉测距，两个彩色图像用于光流估计、物体检测、跟踪和语义理解等基准。

　　牛津大学的RobotCar被认为是另一个强大的竞争平台。公开的数据集[20]是第一个多传感器长期公路驾驶数据集。牛津机器人车配备了一个Bumblebee XB3立体相机，三个Point Grey Grasshopper2 ?sheye相机，两个SICK LMS- 151 2D激光雷达和一个SICK LD-MRS 3D激光雷达。

　　在这种配置下，三台仪眼相机覆盖了360o的视野，二维/三维激光雷达和立体相机分别产生了11fps和16fps的数据。这个数据集是在一年的时间内收集的，总共约1000公里。

　　KAIST数据集[21]侧重于复杂的城市环境，如市中心、公寓大楼和地下停车场，数据收集是通过配备13个传感器的车辆进行的。

　　不久前，Waymo[22]（以前的谷歌自动驾驶汽车项目）开始公布他们在美国多个城市的一系列条件下记录的部分数据。更有趣的是最近发布的加拿大恶劣驾驶条件数据集[10]，该数据集旨在提供不同程度的降雪中的感官数据。

　　其他数据集包括ApolloScape[23]、Cityscapes[24]（用立体相机采集）和BBD100K[25]（用单眼相机采集），主要关注视觉感知，如物体检测、语义分割和车道/可行驶区域分割，并且只发布视觉数据（即图像和视频）。由于本文更侧重于多传感器的感知和定位，我们在此不进一步给出这些数据集的细节。 为了有一个更直观的看法，表二中提供了我们的数据集与现有数据集的比较。

　　为了进行更深入的分析，KITTI为感知和定位提供了相对全面的挑战，其硬件配置，即3D激光雷达和立体摄像机的组合，被自动驾驶汽车公司广泛用于机器人汽车的原型开发。

　　然而，KITTI数据集仍有两个局限性。首先，数据集只在一个会话中捕获，并没有调查场景的长期变化，如亮度、季节。第二，视觉摄像机没有覆盖整个视野，因此存在盲点。牛津大学的数据集调查了基于视觉的感知和定位与季节、天气和时间的差异，然而，现代三维激光雷达的感应数据并不包括在内。在本文中，我们利用了KITTI和牛津大学的平台设计的优点，并消除了缺点。

　　

　　也就是说，建议将四个激光雷达（包括两个Velodynes）和四个摄像头的多传感器平台结合起来，以产生更强的范围和视觉感应。其他新兴的数据集也表现出强大的竞争力。

　　Waymo提供了同步和校准的高质量LiDAR和相机数据，这些数据也有详尽的注释。这个生产级别的数据集无疑将为社会做出重大贡献。KAIST提供了一个多激光雷达平台的替代方案，即在车顶的两侧以45度角安装两个16层激光雷达，以最大限度地扩大数据采集的覆盖范围，在车顶的前后分别向下和向上安装两个1层激光雷达。

　　除了硬件配置和数据集收集之外，还有被广泛引用的开源存储库，如Apollo、Autoware和Udacity，它们为研究人员提供了贡献和共享AD软件的平台。

　　V.总结

　　在本文中，我们介绍了一个用于AD研究的数据集和用于数据收集的多传感器平台。该平台集成了11个异构传感器，包括各种激光雷达和照相机、一个雷达和一个GPS/IMU，以提高车辆的视觉范围和感知能力。 通过利用不同感觉数据的异构性（如传感器融合），车辆也有望拥有更好的定位和情景意识，并最终提高人类社会的AD安全性。

　　利用我们的工具车，一个基于ROS的数据集被累积记录下来，并向社会公开提供。这个数据集充满了新的研究挑战，由于它包含了周期性的变化，它特别适合于长期的自主研究，如持久的映射[3]，长期的预测[14]，[2]，和在线/终身学习[1]，[6]，[13]，[27]，[28]。我们希望我们的努力和现成的经验可以继续发展并帮助解决AD的相关问题。

　　此外，由于我们非常重视隐私，并按照欧盟的数据保护法（即《通用数据保护条例》（GDPR））处理个人数据，我们使用基于深度学习的方法对相机记录的图像进行后处理，以模糊人脸和车牌信息。这些图像已从2020年第一季度开始陆续发布。

　　参考文献：

　　[1] T. Krajnk, J. P. Fentanes,J. M. Santos, and T. Duckett, “Fremen:

　　Frequency map enhancement for long-term mobile robot autonomy in changing environments,” IEEE Transactions on Robotics, vol. 33, no. 4, pp. 964–977, 2017.

　　[2] L. Sun, Z. Yan, S. M. Mellado, M. Hanheide, and T. Duckett, “3DOF

　　pedestrian trajectoryprediction learned from long-term autonomous mobile robot deployment data,” in Proceedings of ICRA, May 2018.

　　[3] L. Sun, Z. Yan, A. Zaganidis,C. Zhao, and T. Duckett, “Recurrent-

　　octomap: Learning state-based map re?nement for long-term semantic mapping with 3d-lidar data,” IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3749–3756, 2018.

　　[4] T. Krajnk, J. P. Fentanes,G. Cielniak, C. Dondrup, and T. Duckett,

　　“Spectral analysis for long-term robotic mapping,” in Proceedings of ICRA, 2014, pp. 3706–3711.

　　[5] R. Siegwart,I. R. Nourbakhsh, and D. Scaramuzza, Introduction to

　　Autonomous Mobile Robots. MIT Press, 2011.

　　[6] Z. Yan, L. Sun, T. Duckett, and N. Bellotto, “Multisensor online

　　transfer learningfor 3d lidar-based human detection with a mobile robot,” in Proceedings of IROS, October 2018.

　　[7] M. Quigley, K. Conley, B. P. Gerkey, J. Faust, T. Foote, J. Leibs,

　　R. Wheeler, and A. Y. Ng, “ROS:an open-source robot operating system,” in ICRA Workshop on Open Source Software, 2009.

　　[8] L. Kunze, N. Hawes, T. Duckett, M. Hanheide, and T. Krajnik,

　　“Arti?cial intelligence for long-term robot autonomy:A survey,” IEEE Robotics and Automation Letters, vol. 3, pp. 4023–4030, 2018.

　　[9] T. Yang, Y. Li, Y. Ruichek, and Z. Yan, “LaNoising: A data-driven

　　approach for 903nm ToF LiDAR performance modeling under fog,”in Proceedings of IROS, October 2020.

　　[10] M. Pitropov, D. Garcia, J. Rebello, M. Smart, C. Wang, K. Czarnecki,

　　and S. Waslander, “Canadian adverse driving conditions dataset,” CoRR, vol. abs/2001. 10117, 2020.

　　[11] J. Li, Z. Zeng, J. Sun, and F. Liu, “Through-wall detection of human

　　being’s movement by UWB radar,” IEEE Geoscience and Remote Sensing Letters, vol. 9, no. 6, pp. 1079– 1083, 2012.

　　[12] HDL-32E User Manual, Velodyne, 2018, 63-9113 Rev. M.

　　[13] T. Krajnik, T. Vintr, S. Molina,J. P. Fentanes, G. Cielniak, O. M.

　　Mozos, G. Broughton, and T. Duckett,“Warped hypertime represen- tations for long-term autonomyof mobile robots,”IEEE Robotics and Automation Letters, vol. 4, no. 4, pp. 3310–3317, 2019.

　　[14] T. Vintr, Z. Yan, T. Duckett, and T. Krajnik, “Spatio-temporal rep-

　　resentation for long-term anticipation of human presence in service robotics,” in Proceedings of ICRA, 2019, pp. 2620–2626.

　　[15] J. Zhang and S. Singh, “Loam: Lidar odometry and mapping in real-

　　time.” in Robotics: Science and Systems, vol. 2, 2014, p. 9.

　　[16] A. Geiger,P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics:

　　The KITTI dataset,” International Journal of Robotics Research, vol. 32, no. 11, pp. 1231– 1237, 2013.

　　[17] T. Shan and B. Englot, “LeGO-LOAM: Lightweight and ground-

　　optimized lidar odometry and mapping on variable terrain,”in Pro- ceedings ofIROS, 2018, pp. 4758–4765.

　　[18] A. Kendall, M. Grimes, and R. Cipolla, “Posenet: A convolutional

　　network for real-time 6-dof camera relocalization,” in Proceedings of ICCV, 2015, pp. 2938–2946.

　　[19] R. Dub, D. Dugas,E. Stumm, J. I. Nieto,R. Siegwart, and C. Cadena,

　　“Segmatch: Segment based place recognition in 3d point clouds,” inProceedings of ICRA, 2017, pp. 5266–5272.

　　[20] W. Maddern,G. Pascoe, C. Linegar, and P. Newman, “1 year, 1000

　　km: The oxfordrobotcar dataset,” International Journal of Robotics Research, vol. 36, no. 1, pp. 3– 15, 2017.

　　[21] J. Jeong,Y. Cho, Y.-S. Shin, H. Roh, and A. Kim, “Complexurban

　　dataset with multi-level sensors from highly diverseurban environ- ments,” International Journal of Robotics Research, 2019.

　　[22] P. Sun, H. Kretzschmar, X. Dotiwalla, A. Chouard, V. Patnaik, P. Tsui,

　　J. Guo, Y. Zhou, Y. Chai, B. Caine, V. Vasudevan,W. Han, J. Ngiam,

　　H. Zhao, A. Timofeev, S. Ettinger, M. Krivokon, A. Gao, A. Joshi,

　　Y. Zhang, J. Shlens, Z. Chen, and D. Anguelov, “Scalability in percep- tion for autonomous driving: Waymo open dataset,” in Proceedings of CVPR, 2020, pp. 2446–2454.

　　[23] X. Huang,P. Wang, X. Cheng, D. Zhou, Q. Geng, and R. Yang, “The

　　apolloscape open dataset for autonomous driving and its application,” CoRR, vol. abs/1803.06184, 2018.

　　[24] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benen-

　　son, U. Franke,S. Roth, and B. Schiele, “The cityscapes datasetfor semantic urban scene understanding,” in Proceedings of CVPR, 2016, pp. 3213–3223.

　　[25] F. Yu, W. Xian, Y. Chen, F. Liu, M. Liao, V. Madhavan,and T. Darrell,

　　“BDD100K: A diverse driving video database with scalable annotation tooling,” CoRR, vol. abs/1805.04687, 2018.

　　[26] H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Kr-

　　ishnan, Y. Pan, G. Baldan, and O. Beijbom, “nuScenes:a multimodal dataset for autonomous driving,” CoRR, vol. abs/1903. 11027, 2019.

　　[27] Z. Yan, T. Duckett, and N. Bellotto, “Online learning for 3d lidar-based

　　human detection: experimental analysis of pointcloud clustering and classi?cation methods,” Autonomous Robots, vol. 44, no. 2, pp. 147– 164, 2020.

　　[28] ——, “Online learning for human classi?cation in 3D LiDAR-based

　　tracking,” in Proceedings of IROS, September 2017, pp. 864–871.

　　声明：本文转载自智能汽车开发者平台，作者Zhi Yan等，部分图片来源于网络，仅供学习交流使用，如有侵权请联系删除。

　　了解更多“元宇宙”相关内容，敬请关注【2022汽车元宇宙大会暨智能座舱及交互前瞻技术论坛】。