从系统到地图，再到芯片，百度全方位讲述自动驾驶最新故事

　　

　　百度自动驾驶下一步怎么走？

　　作者 | 章涟漪

　　“百度怎样设计自动驾驶系统？”

　　“何为Apollo自动驾驶地图？”

　　“L4与L2+技术如何共生？”

　　11月29日，百度Apollo Day技术开放日，百度自动驾驶技术领域6位专家轮番上阵，从系统设计、地图构建、感知模型、数据闭环、自研芯片、技术落地等多领域，全面讲述了百度自动驾驶技术最新进展（后台回复“221129”，获取全部速记）。

　　活动上，百度在发布新一代Apollo自动驾驶地图的同时还宣布，2023年将扩大业务规模，在更多区域开展全无人自动驾驶运营，着力打造全球最大的全无人自动驾驶运营服务区。同年，L2+领航辅助驾驶旗舰产品ANP3.0，也将搭载于第一个客户车型上市。在百度看来，后续L4和L2+技术协同飞轮将运转起来，形成正反馈。

　　01

　　陈竞凯：百度自动驾驶技术体系设计思路

　　自动驾驶系统，最重要的是安全，系统设计需要遵从汽车安全体系。陈竞凯表示，“百度从功能安全和预期功能安全两个方面来打造我们的自动安全系统。”

　　按照功能安全的设计要求，百度拆解了系统的安全框架和目标，通过适当的冗余，来降低失效带来的危害。在计算硬件、传感器、底盘、通讯的各个层面都构建了冗余，并且完善了故障检测和处理方案，实现全方位的安全。

　　而自动驾驶系统的能力演进，是按照预期功能安全的框架去思考的。从知道不知道、安全不安全这两个维度去推进自动驾驶技术能力，去提高自动驾驶系统对复杂场景的适应。

　　

　　Δ 百度无人驾驶技术架构设计

　　自动驾驶系统应该如何设计？

　　一直以来，针对上述问题都有两个思路，一个偏学术，倾向于统一建模，端到端的解决问题；另外一个思路偏向工程，拆分系统，分治突破。

　　“从长远看，前者是非常有前途的方向。”但陈竞凯称，这个方案的问题在于存在很大不确定性，不确定它究竟何时成熟。因此，百度在自动驾驶技术思路主要是沿着工程化的路线在往前推进。

　　其中，车载系统大体会分成四个部分：地图、感知、预测决策、规划控制。

　　

　　Δ 百度自动驾驶AI技术体系

　　地图是系统中非常重要的组成部分。陈竞凯认为，地图是自动驾驶系统的底层表达，而离线地图是超视距整体性的感知，在自动驾驶系统中发挥着重要作用。

　　在谈到地图更新率问题时，陈竞凯认为，“当第一次碰到现实世界变更时，肯定是没有地图的，这时候需要能够通过地图的实时性才是问题，而不是更新率或者成本”。

　　在当前实践中，车端实时生产的地图和规模化生产的地图有质量上的差距，这种差距需要通过自动驾驶策略去适应两种地图的差异，但这种适应对自动驾驶能力来说是有折损的。因此，陈竞凯指出，在目前条件下，一个规模化生产的高精地图是不可或缺的，实时地图更多的会被用在应对现实世界的变更，这时候百度会把自动驾驶的策略调整到一个更加安全谨慎的方式去通过。

　　感知系统目前在整个业界的发展思路还是比较统一的，基本上是一个数据加模型驱动的系统。主要的分歧是在于，传感器的配置。

　　百度的判断是，充分发挥各个传感器的能力。“我们希望首先要把事情做成，然后再去追求更好、更低成本。在具体的过程中，从后融合方案转向前融合方案，同时会充分利用百度大模型技术方面的积累，去提升感知能力。

　　预测决策系统是直接面对复杂外部环境的一个非常重要的部分，百度把系统模块的分界线划到了预测决策和规划控制之间，主要的出发点是，决策问题其实是可以引入人工判断的节点，这时候可以在其中引入更多的人类智慧。

　　

　　Δ 预测决策多任务大模型

　　规划控制在传统方案中是优化问题，在真实的道路条件下，往往会面临一些求解空间和计算资源之间的冲突。在这一块，百度也做了很多的探索。

　　驾驶能力的提升表现在车端，但是更多的工作是在云端完成的。为此，百度构建了数据闭环系统，并不断迭代、完善。

　　百度最初的自动驾驶系统，预测和决策是分开的。预测带有自标注的任务，一直都是数据驱动的，决策、规划、控制，当初沿用的都是一些偏规则的传统方案。

　　基于规则的方案，通常是把遇到的问题划分成各种场景，在每个场景下，针对不同出现的问题，再做相应的处理，为了不让各个规则之间发生冲 突，通常会仔细地限定每个规则的作用范围，一层一层地拆分下去，如果做得好的话，我们会形成一个类似树形的拆分结构；如果处理得不好的话，就会变成一个补丁摞补丁的系统。

　　上述规则系统在最初的时候，可以最大化人类的经验和知识，迅速地提升自动驾驶能力，但是随着时间的推移，有两个问题不可避免。一是策略分叉；二是面对城市扩展、场景变化的时候，需要调整规则去适应。

　　因此，百度认为学习性的PNC是实现全无人的一个必由之路。陈竞凯表示：“预测和决策其实是一个问题的两面，预测是决策的自我预言实现。所以我们构造了一个预测和决策的多任务系统，联合处理这个问题。我们对信号灯、道路元素等都做了一些建模和交互的处理，最后形成预测和决策的一个结果。”

　　百度的最终目标也不是用学习系统去完全替代规则系统。陈竞凯称，一方面因为交通系统本来就是一个靠规则约束的系统；另一方面也需要规则去守护最后的底线。

　　

　　Δ 离线智能仿真系统

　　仿真系统方面，百度追求的是做一个有用的仿真系统，要能够满足对于问题迭代的需求。为此，其做了大量工作。如Worldsim系统，使得能够批量地去构造大量的场景，去验证在各种场景下的综合能力；L2W系统，能够精确地复现道路的场景，帮助其去分析和验证路上的问题。

　　“另外，我们从一个城市向另一个城市迁移过程中，数据统计、数据分布是有变化的，这时候要求我们的自动驾驶能力、策略要做一些细微的调整，整体的场景库也对迁移过程提供很多保障。”陈竞凯认为，仿真系统在自动驾驶技术迭代的过程中间发挥了非常重要作用，是技术能力提升的重要支撑。

　　02

　　黄际洲：全新构建Apollo自动驾驶地图

　　汽车智能化是推动地图变革的核心驱动力。

　　汽车上最早使用的地图是标准地图，也就是SD地图，主要用于帮助司机进行导航。SD地图主要由粒度较粗的道路拓扑信息构成，精度要求不高，一般是在15米左右。

　　随着汽车智能化的发展，尤其是辅助驾驶和自动驾驶的发展，对地图的精度和要素的丰富度的要求也在不断变高。

　　车道级地图，即LD地图，主要用于辅助驾驶，加入了车道级的拓扑信息，精度一般是在亚米级；高精地图，即HD地图，主要用于自动驾驶。与前者相比，HD地图中的要素的精度达到了厘米级，还包含了丰富的语义信息。

　　

　　Δ 汽车地图

　　而关于高精地图与自动驾驶的关系，近期有一部分L2智能驾驶在提"重感知，轻地图"这一主张。黄际洲认为，这主要原因是很难翻越高精地图面临的“三座大山”，即资质壁垒、自研壁垒和供给稀缺。“我们的观点是轻成本、重体验的地图对自动驾驶至关重要。”

　　针对上述观点，黄际洲主要围绕绕L4自动驾驶展开。他认为，对于L4的自动驾驶而言，要达到99.99%以上的成功率，高精地图更是其中必不可少的核心能力之一，并要做到“把成本做轻、把体验做重”。

　　在介绍“轻成本”时，黄际洲主要从自动化数据融合和地图自动化标注两方面进行展开。

　　自动化数据融合，是高精地图大规模生产的重要基础和核心能力，其目标是全自动地将多次采集到的传感器的数据，比如说激光点云或者道路的影像，在统一的坐标系下进行融合，主要的挑战就在于这个融合的绝对或者是相对的精度要达到厘米级。

　　为了实现上述目标，百度通常先将这些数据按照块或者道路进行划分，在每个分块里首先进行数据的融合，然后再对块之间进行高精要素的串线和几何的调整，以增强块间高精要素的连续性。

　　如何保证上述所得到的基础数据都是完全对齐的？百度的解决方案是按照数据空间分布划分去构建多层级的图结构，确保全图的精度是一致的。这其中主要的技术创新有三个方面：第一是多层级的图优化；第二点是场景化关联和匹配；第三是基于学习的匹配算法。

　　

　　Δ 百度表示地图自动化标注有利于降本增效

　　地图自动化标注，指的是基于点云和图像数据自动生成高精地图的过程，是显著降本增效的核心驱动。

　　为了达到高自动化率，百度在要素识别、矢量提取、自动建模等关键步骤上都进行技术创新。

　　其中，要素识别上，采用的是多层级的点云识别方式，识别的结果要远远优于一次识别的结果；矢量提取上，对点云和图像中提取的矢量要素进行后融合，保证要素的高精度和高召回；自动建模上，基于车道级的拓扑模板进行矢量要素匹配，极大地提高拓扑的生成以及车道线串接的准确性。

　　“重体验”部分，则主要包括安全、舒适和高效三个方面。

　　安全方面，百度采用的方案是融合车端感知数据与多源地图来实时地生成在线地图；舒适方面，百度引入驾驶知识图谱来实现；高效方面，百度解决方案是，基于百度智能交通以及百度地图，构建交通大脑，赋能自动驾驶出行。

　　此外，为了保证更好的自动驾驶体验，百度提出了Apollo自动驾驶地图，主要分为四层：

　　

　　Δ 百度Apollo自动驾驶地图

　　第一层是静态层，这一层也是传统高精地图内容，包括车道级的数据、拓扑数据以及辅助车辆定位的定位数据。

　　第二层是动态层，包括实时的交通的事件、实时的交通的态势以及实时的环境的变化，这需要依赖于海量的时空数据以及车路协同等。

　　第三层是知识层，最核心的是驾驶知识图谱，以及与自动驾驶体验强相关的安全驾驶、舒适驾驶行为与知识等。

　　第四层是驾驶层，知识与驾驶策略的融合，实现深度融合地图和感知、决策、控制应用；而数据实时感知的融合，数据闭环还有实时更新，实现了高鲜度的地图的数据。

　　“知识增强、分层多维、为自动驾驶而生的新一代地图。”黄际洲一句话定义了Apollo自动驾驶地图。

　　据黄际洲称，Apollo自动驾驶地图已经实现了规模化的应用。首先，萝卜快跑快速发展，累计订单量达到140万单；其次，提供智能驾驶全场景体验ANP领航辅助驾驶解决方案；最后，百度地图率先推出了城市车道级导航、车位级导航、智能红绿灯等自动驾驶级导航产品功能。

　　03

　　王井东：如何应对自动驾驶感知挑战

　　传感器融合是实现L4自动驾驶的必要条件。王井东指出，百度自动驾驶感知经历了两代。

　　感知1.0的百度经过了三个阶段：第一阶段主要依赖激光雷达点云感知，辅助红绿灯的识别，同时利用了毫米波目标阵列；第二阶段增加了环视图像的感知，与激光雷达点云感知形成两层感知融合，提升了识别效果；第三阶段，自研了毫米波点云感知算法，形成了三层感知的融合。

　　“这些多模感知实际上用的是后融合方案，它通常需要规则的方法，是不可学习的，因此相对来说泛化能力不够。”王井东表示，基于此，百度开发了基于前融合方案的新一代感知2.0。

　　

　　Δ 百度认为多传感器融合是L4必要条件

　　感知2.0主要部分是多模态前融合端到端的方案，在点云和图像的表征层次上进行融合。与此同时，远视距的视觉感知，通常在200米以上视觉的感知效果相对比较好；近距离采用了鱼眼感知，从鱼眼感知实现了freespace的预测。“三者融合，近、中等和远距离统统形成高质量感知”。

　　感知环境，需要丰富和高质量的数据，基于此，百度感知2.0还利用大模型进行数据挖掘和数据的自动标注。

　　“在自动驾驶感知里往往会遇到一些挑战。”王井东将其总结为三点。一是远距离的视觉感知问题；二是在点云空间去做3D的标注非常困难；三是长尾数据挖掘问题，包括少见的车型、各种形态、各种姿态行人，以及低矮物体、交通、施工元素等。

　　如何解决上述三种挑战？百度的方法是利用大模型技术，来提升自动驾驶感知能力。

　　首先利用文心大模型自动驾驶感知的技术，来提升车载小模型的感知能力。同时在数据方面，利用了文心大模型图像弱监督预训练模型来挖掘长尾数据，提升模型训练效果。

　　在自动驾驶感知模型训练方面，百度采用的是半监督方法，充分利用2D标注和没有3D标注数据。

　　

　　Δ 文心大模型下迭代自训练方案

　　具体方法是采用迭代的自训练方案。首先在既有2D又有3D的训练数据上，去训练一个感知大模型出来，然后给没有3D标注数据打上3D伪标注。再继续训练一个感知大模型出来，如此迭代，逐步把感知大模型效果提升，同时也使得3D的尾标注的效果越来越好。

　　王井东称，上述感知大模型不仅用于视觉，也用于点云，也用于多模态端到端方案。在他看来，大模型已经成为自动驾驶能力提升的核心驱动力。

　　04

　　李昂：Apollo自动驾驶数据闭环设计思路

　　自动驾驶是一个持续学习的问题。罕见的、长尾场景，对于自动驾驶来说是一个急需解决的问题，这也是自动驾驶需要持续学习的重要原因之一。

　　当无人车实现大规模的商业化落地，可以持续地搜集海量数据。李昂称，彼时面临的问题将是如何利用好大数据，提升无人驾驶的整个的安全性与舒适性，这是数据闭环所需要考虑的核心问题。他认为，数据闭环是无人驾驶最终实现持续学习能力的一个重要基础架构。

　　不过，在大数据给自动驾驶智能水平带来巨大提升空间的同时，也给数据闭环建设带来了全新的挑战。一方面，大规模的数据带来了数据存储及标注压力；另一方面，算法迭代所需要的计算量也将随之增加。

　　核心是两个问题。李昂表示，首先是如何高效率地从海量数据里找到高价值或高纯度数据；其次是如何利用好高纯度数据去提升整车智能化水平。

　　从回答上述两个问题的角度，百度设计了Apollo数据闭环的整体设计思路。

　　

　　Δ 百度数据闭环设计思路

　　自动驾驶系统是由车端和云端两部分组成的。而整个数据闭环是由数据提纯以及数据消化这两个部分构成。其中，数据提纯同时出现在车端和云端，目标是找到高价值、高纯度数据；数据消化部署在云端，目标是利用高纯度的数据，提升自动驾驶的整体智能水平。

　　基于这些原理，李昂分别介绍了百度关于数据闭环的高提纯、高消化设计思路。

　　首先需要建设高效率的数据提纯通路。百度定义数据的纯度为单位数据可以给整个智能系统提供的信息量，数据挖掘与标注都是提高数据纯度的一个重要手段。

　　数据提纯的核心组件是推理引擎，它的作用是对任意的一个给定的模型和一组数据，给出模型在这组数据上的推理结果，这个结果可以包括数据的特征以及模型预测出的标签；另一个重要组件是模型仓库，包含云端大模型、车端小模型，以及一些并没有上车的候选小模型。

　　大模型可以用来通过推理引擎获取对应数据的特征和标签。大模型的特征与向量检索相结合，可以用作定向挖掘。而大模型的标签可以用作自动化标注。此外，车上的小模型也可以用来做数据提纯。小模型可以通过推理的方式获取小模型的标签；多个小模型还可以利用比较经典的集成学习的不确定性估计方法，获得模型对数据的不确定性。从而实现不确定性挖掘。

　　通过推理引擎，对所有数据的各种属性进行推理，基于这些数据属性，可以进一步提供复杂的挖掘规则，从而实现更为复杂和更有针对性的挖掘方式。

　　

　　Δ 百度PaddleFlow

　　另外，由于数据提纯效率很大的程度由推理引擎效率决定，而推理引擎效率又可以分为数据的读取速度，以及模型的推理和计算速度。后者可以通过一些分布式方式来提升，而前者主要可以通过文件系统的一些创新来进行优化。因此，百度Apollo团队与百度飞桨团队合作，将PaddleFlow数据缓存基础架构集成入数据闭环平台，实现了推理引擎数据读取效率提升。

　　“如果只有云端数据提纯方式，没有办法满足大规模自动驾驶需求。因为存储空间上限无法支持全量的数据回传。”李昂指出，在车端百度也需要部署数据提纯的通路。

　　据介绍，云端和车端系统的主要区别在于它的存储和计算能力的不同。很多云端可以执行的操作，在车端变得难以实现，比如说集成学习的一些方式。因而在设计车端挖掘方案时，虽然依旧遵循相同原则和底层逻辑，但更多是采用一些轻量级的策略。“简单总结，数据提纯的呈现方式，实际上是云端到车端模型和策略的双重降维。”

　　

　　Δ 数据提纯方式是云端到车端模型和策略双重降维

　　在获取高纯度数据后，如何高效率消化？李昂从是自动化、联合优化以及数据分布三个角度进行了介绍。

　　首先是基于持续学习与AutoML的一些概念，在数据闭环里面设计了一套自动化训练引擎。利用训练引擎对自动驾驶系统里的数据驱动模型实行自动化托管的能力，即在数据确定的情况下，可以实现全无人的训练模式。

　　李昂称，在持续优化系统时，所有挖掘的数据最终是以一个个数据集的形态传输到训练引擎当中的。在迭代过程中发现，每一次新数据进来的时候，整个模型的效果是呈持续提升的一个趋势，并且尚没有观测到数据饱和的一个状态。

　　“上述是对单一模型的一个优化。而整个自动驾驶是一个多模块的复杂系统，因而我们更需要去关注联合优化的问题。”李昂指出，整个的自动驾驶系统可以看作是端到端的优化，最终在乎的是无人车在车上的效果，而优化的方式是通过加上很多模块级别的辅助目标。比如感知会有自己的目标，预测、规划都会有自己独立的目标。

　　由于整个系统里面存在很多不可微的模块，因此没有办法真正地实现端到端的优化的这个能力。目前整个的工程架构所做方式，类似于系统级的Coordinate descent，又叫做坐标下降方法。其中，比较经典的联合优化例子是行为预测。

　　而数据分布在机器学习里面是非常重要的概念。目前比较有效的数据驱动方式是基于深度学习，后者核心原则是经验风险最小化。

　　如何描述数据分布？李昂称，主要采用标签化或者叫场景化的方式。

　　

　　Δ 利用数据闭环平台的log理解数据分布

　　以行为预测为例，其实可以通过问三个问题来映射所有的数据到不同的场景，而这三个问题，可以分别是主车的行为、障碍物的行为，以及障碍物的类型。当对每个场景的数据进行统计，就可以最终获得整个数据集所对应的数据分布描述。

　　“虽然并非是完全真实的分布，但平台具备这样的贡献度估计能力，可以给研发带来一定程度的帮助。”李昂指出，从另外一个角度，可以适度地根据数据分布提供指导，来调整数据分布先验或者是指标评测时的数据分布，从而达到加强训练指标和评测指标一致性的方式。”

　　总结来看，百度提出了以高提纯、高消化为核心驱动力的数据闭环的设计思路。高提纯通过小模型和大模型的车云协同，实现高效的数据挖掘和自动化标注；高消化通过数据、模型、指标的集中式、端到端整合来实现。

　　除此之外，训练、推理以及数据分布是在数据消化中可以形成有效的一个反馈机制，进一步提升数据消化的整体效率和效果。

　　05

　　欧阳剑：昆仑芯考虑高阶自动驾驶车规级SOC

　　芯片部分，由昆仑芯科技CEO欧阳剑进行了介绍。

　　“昆仑芯”曾是百度的一个部门，2011年正式独立。欧阳剑表示，昆仑芯已经量产了两代，第三代、第四代芯片在研发过程中。

　　其中，第一代AI芯片采用14纳米的工艺、2.5D的封装，这款芯片刚量产就在百度数据中心里部署了超过2万片；第二代AI芯片为7纳米工艺，采用了XPU第二代的架构。截至2022年，第二代昆仑芯已经在数据中心、工业、自动驾驶等领域进行了大规模的部署和落地。

　　

　　Δ 昆仑芯科技发展历程

　　相比其他国内自主研发的AI芯片，昆仑芯有何优势？

　　欧阳剑称，在他看来，昆仑芯产品有三点优势：第一，昆仑芯是为数不多能够在真实系统上大规模部署和应用的AI芯片；第二，其生态完备性是国内做的最好的，跟国内所有的处理器、操作系统都进行了适配；第三，它灵活易用，提供的SDK，给予开发者非常低的学习门槛和非常快的迭代效率。

　　截至目前，昆仑芯已经在车路协同、物流系统、智慧交通等与交通相关领域落地。具体到自动驾驶方面，昆仑芯二代芯片已经在百度RoboTaxi系统上做了完全适配。

　　“我们用昆仑芯二代芯片跟业界最主流显卡做了性能对比，我们的性能优于这个显卡，而功耗只有不到它的一半。我们也跟主流的AI加速卡做了性能对比，是它的两倍以上，同时我们也做了一个端到端的测试，在不到它的一半的功耗之下，取得了比较领先的性能。”欧阳剑表示，除了AI的模型，在一些控制规划模型上，昆仑芯也取得相对一些显卡更好的性能效果。

　　

　　Δ 昆仑芯科技二代芯片性能

　　他指出，不止与RoboTaxi驾驶系统适配，昆仑芯也在一些仿真系统和在路测系统上做了测试，效果达到客户的要求。

　　在欧阳剑看来，今天的高阶自动驾驶计算系统，与数据中心系统有非常相似的地方，它的算法非常多元，迭代速度非常的快，复杂度越来越高。这对芯片的要求也越来越高，它一定是要求非常好编程、好移植，否则那些先进的算法没法很快迭代到车上来使用，系统也就没法保证领先性。此外，稳定性也要非常好这不仅包括硬件，还包括整个软件，乃至整个系统。

　　

　　Δ 昆仑芯科技二代芯片

　　“我参与自动驾驶系统方面工作已经很多年，在车载计算系统上，过去有观点认为它是相对封闭的系统，要做非常深度的软件和硬件定制。五六年前在云端AI芯片上也一样有人在讲这个观点。”欧阳剑称，但今天回头来看，过去五六年提上述观点的AI芯片公司全部已经不在市场里。

　　因此，欧阳剑认为，未来车载计算系统一定是相对开放，能够给用户提供高算力、高通用，可以满足客户个性化需求的计算系统。“未来，昆仑芯也会考虑面向高阶自动驾驶系统定制车规高性能的SOC。”

　　06

　　王亮：L4/L2+技术落地共生

　　我们常说，汽车行业正在经历百年一遇的变革，电动化、智能化正在加速到来。

　　第一阶段是电动化，已于2021年完成跨沟，汽车智能化紧随而来。王亮称，2023年具备城市道路辅助驾驶能力的产品上市，会带动C端用户需求，并在2025年左右实现跨沟。“进入第三阶段，智能电动车的综合竞争中，用户对智能化的诉求会接近完全自动驾驶，即L4级自动驾驶。”

　　在L4技术演进趋势方面，百度内部也有自己的规划。其认为，在2025年技术将跑通限定区域的无人化，Robotaxi的商业模式得到初步验证；紧接着将进入多城区商业化运营的新阶段，这意味着Robotaxi的数量和规模将大幅增加，规模增长也预示着L4技术对安全性的要求将更加严苛，对新技术和数据的需求更为迫切。

　　

　　Δ 百度对于自动驾驶技术落地判断

　　随后王亮介绍了百度在自动驾驶领域进展：L4自动驾驶运营测试里程累计超过4000万公里；萝卜快跑在多个城市开启对市民的运营，累计订单超过140 万；今年8月百度在武汉和重庆国内首次实现“全无人商业化运营”，这是中国自动驾驶历史上的重要里程碑。

　　辅助驾驶方面，王亮称，目前国内市场智驾产品以高速领航辅助驾驶和记忆泊车为主。有数据显示，中国居民日常出行中，城市通勤占比在70%以上，有城市自动驾驶能力的L2+产品将是未来市场的主流趋势。

　　“百度将在2023年面向市场推出一款L2+领航辅助驾驶旗舰产品ANP3.0。”王亮介绍成，它将支持复杂城市道路场景，并且衔接融通高速和泊车场景。其中，智能驾驶计算单元，采用的是百度自主研发的智驾域控制器，搭载了2颗英伟达Orin-x芯片，AI算力为500 TOPS；传感器方面，部分搭载了800万像素高清摄像头，视距可以达到400米。同时搭配半固态激光雷达，每秒产生百万以上的点云。

　　王亮称，百度对传感器方案的判断是：激光雷达和视觉感知具备相同的重要性和不可替代性，缺一不可。ANP3.0以视觉方案为主，同时系统也搭配激光雷达。ANP3.0视觉、激光雷达两套系统独立运作、低耦合。

　　

　　Δ 百度ANP3.0产品

　　ANP3.0视觉感知技术始于2019年启动的Apollo Lite项目，采用了“单目感知”加“环视后融合”的技术框架。

　　Lite感知系统的前端，是基于深度学习的2D目标检测与3D位姿估计；模型输出的观测经过单相机跟踪、多相机融合等步骤输出最终的感知结果。“这一方案在常规场景取得了很不错的效果，但随着测试规模的逐步扩大，在面对一些需要多相机协同解决的Corner case时逐渐显得力不从心”。因此，王亮称，今年百度对视觉感知框架进行了升级，推出了第二代纯视觉感知系统Lite++。

　　Lite++通过Transformer把前视特征转到BEV，在特征层面对相机观测进行前融合后，直接输出三维感知结果，并融合时序特征实现运动估计Learning化；模型设计层面，基于transformer结构，实现时空特征融合。

　　在空间融合阶段将位置编码变换从全局BEV空间转换到局部相机坐标系，消除相机内外参差异带来的差异。时序上尽可能多的融合主车运动与多帧信息，提升障碍物检测稳定性。同时基于时序特征，障碍物的速度、意图、未来轨迹预测等关键信息都可以进行端到端的输出。

　　此外，Lite++对后处理的多相机融合依赖更低，算力需求更轻，泛化性更好。

　　

　　Δ 百度Lite++技术

　　ANP 3.0另一大特色是熟路。目前，智能驾驶行业内流行无高精地图的在线地图学习路线，这样做的目标很清晰：希望能摆脱高精地图的依赖，让智驾系统能够Drive everywhere。

　　王亮认为，这带来的问题也很明显，道路结构的推理对自动驾驶决策规划算法至关重要，一旦算法在感知物理世界的道路结构层面出现问题，车辆的行为将难以预测，给用户带来极大的不安全感。“我们认为，在今天做城市级高级辅助驾驶，高精地图是安全、体验好智驾产品的必需品。”

　　ANP3.0的目标是让自动驾驶能够随时随地的开启，技术路径是用好百度多年在高精地图领域积累的优势；结合百度对自动驾驶算法的理解，定义了为智驾规模化泛化而生的“轻量化”自动驾驶地图。在降低地图制作成本的同时，通过建设在线地图学习能力，用算法应对现实变更、冗余地图的标注问题。

　　为提升泛化能力、扩大地图覆盖规模。百度通过一系列方法降低地图制作成本。首先是地图数据采集阶段的减负；其次是定位图层的降维；最后是地图元素标注需求的瘦身。

　　和传感器方案一样，地图也需要冗余，轻地图落地依赖于背后强感知的支撑。精准实时的道路结构感知能力是其中最为关键的一环。为此百度设计研发了基于BEV的纯视觉实时在线地图学习框架，以百度自研高精地图为原始监督数据，端到端地学习从环视图像到矢量化道路结构的映射，解决现实变更的发现问题和城市道路的泛化难题。

　　王亮介绍道，目前ANP3.0已进入北上广深多地泛化测试阶段，将在2023年夏天随着第一个客户车型上市与大家见面。

　　未来，随着L4规模化商业试运营的到来和高级辅助驾驶产品的普及，百度如何利用L2+产品反哺L4技术，加速Robotaxi的规模化商用？

　　

　　Δ 百度认为数据是决定自动驾驶体验差异核心要素

　　针对这个问题，王亮认为，实现无人驾驶商业化的最佳路径是，前期在限定区域实现技术积累，通过技术降维和L4数据，为L2+产品做热启动；更长期看，利用L2的规模优势，提前收集L4泛化所需要储备的长尾问题。这也正是百度目前所采取的技术路径。

　　在王亮看来，百度领航辅助驾驶产品未来3-5年搭载量有望突破百万。百万量级行驶在城市道路上的L2+乘用车，可有效地收集和补充长尾问题，加速L4无人驾驶系统在更大范围运营，数据壁垒也将成为百度的L4技术护城河。

　　“我们看到，2025年L2+产品将跨越消费者鸿沟，L4的商业模式也将在局部区域和城市实现跑通，两者的紧密配合将正式开启，二者的结合将比任何单一路径都更快速、更高效地实现自动驾驶。”王亮表示，L4技术降维L2+产品已经走通。

　　

　　Δ 百度L4/L2+技术共生思路

　　2023年后，ANP3.0数据反哺L4的规划也在进行中，并已经完成了前期的技术布局，随着智驾ANP3.0产品上市，后续L4和L2+技术的协同飞轮将运转起来，形成正反馈。

　　王亮称，在自动驾驶攀峰道路上，百度L4、L2+技术和定义描述是：一方为另一方提供有利于生存的帮助，同时也获得对方的帮助，两种技术方案和产品形态共存，相互依赖，彼此有利，此为“共生”。