GPU驱动汽车元宇宙（元宇宙 英伟达）

GPU（Graphics Processing Unit）是现代处理器中完成图形学计算的主要单元，负责各类图形生成、图像渲染和动画模拟等功能，是智能座舱SoC中最核心的组成部分。随着智能座舱SoC的升级换代，主流的使用场景越发多元，包含驾驶域的超高清仪表盘、超高清驾驶中控、超高清抬头显示和高精度地图等，以及娱乐域的3D游戏、AR/VR显示等等，亟需GPU的处理能力和场景适配能力的提升。在座舱SoC中，由于驾驶域的安全等级要求，会使用异构多操作系统和对应的隔离或虚拟化技术，而上述各类GPU应用本身又横跨各个操作系统，因此对GPU的能效、安全等级、硬件隔离/虚拟化等能力同时提出很高的要求。

本文将从智能座舱中GPU相关的应用讲起，介绍GPU图形渲染的主要过程和在座舱中扮演的关键作用；然后介绍当前业界主流GPU的架构选择的演进趋势，以及当前座舱场景中GPU所面临的挑战，探讨未来的智能座舱GPU的架构演进趋势。

智能座舱中图形相关的应用和趋势

智能座舱中图形相关的应用按照安全等级可以分为两大类，一类是安全等级要求较高（通常 ≥ ASIL B）的驾驶域类应用，常见的如高清仪表盘、抬头显示、高精度地图等。这类应用中，GPU主要的工作是绘制驾驶相关的信息，如速度、警示信号、高精度地图、实时驾驶建模等相关信息。另一类主要的应用是安全等级要求较低的娱乐域应用，常见的如3D大型游戏、AR/VR显示等等。在这类应用中，GPU主要的工作是实时渲染和动画模拟。下面介绍具体的一些示例：

驾驶域应用--高清仪表/中控：下图1和图2分别是典型的独立高清仪表盘和仪表中控联屏。传统汽车在智能化过程中大多保留了原有的独立仪表盘设计，各家采用各具特色的图形化数字高清仪表盘设计，GPU需要完成不同车速场景下的实时渲染，确保关键信息的正确显示，通常至少需要达成60FPS的刷新率。而在新兴电动汽车设计中，大多厂商选择了将仪表和传统中控屏合并在一起，需要同时显示安全等级要求高的驾驶相关信息，和丰富多彩的图形UI界面。

图1. 奔驰EQS高清仪表盘

图2. 集度汽车高清仪表+中控联屏

驾驶域应用--抬头显示（HUD）：抬头显示技术是通过全息投影的方式，将座舱场景中需要关心的参数和信息投影到驾驶员抬头可见的挡风玻璃平面，从而提高驾驶体验，下图3是典型的抬头显示示例，显示的信息包括时速、警示信号、天气、地图等等。

图3. 典型抬头显示示例

驾驶域应用--高精度地图：高精度地图是伴随着自动驾驶的需求诞生的一项技术，是当前L3及以上自动驾驶技术的标配。高精度地图是以厘米级精度来描述道路细节的数据集，与传统地图不同，高精度地图除了能提供道路级别的导航信息，还能提供车道级别的导航信息。与之对应的就是在保证刷新频率和流畅度的要求下，对GPU计算和图形渲染能力的巨大需求。

图4. 典型高精度地图示例

娱乐域应用--沉浸式VR：相比于通常的家庭使用场景，座舱场景中，VR眼镜可以配合车身自带各种组件和外接的其他设备，达到全景沉浸式体验。通常而言，VR场景中不低于90FPS的刷新率才能有效降低使用者的眩晕感，因此在较高分辨率（4K及以上）的双重要求下，需要GPU提供超强的渲染和吞吐能力。

图5. 智能座舱VR深度融合场景

娱乐域应用--3D游戏：游戏作为GPU演进的最强驱动力之一，搭配座舱内可能的多个高清屏幕，单屏幕高分辨高帧率3D游戏，以及多屏协同游戏将是智能座舱娱乐域的重要应用。相比于传统渲染管线，光线追踪技术在游戏场景中表现出来的效果、各个GPU供应商架构演进的趋势，以及各个游戏引擎在光线追踪上的生态耕耘，未来的基于光线追踪的3D游戏也将是座舱场景的重要应用。

图6. 3D游戏示例 Sekiro: Shadows Die twice

GPU渲染管线简介

当代计算机图形学中主流的图形渲染管线，主要有传统的基于光栅化的经典渲染管线，和基于光线追踪的渲染管线。下文简单介绍两种不同方式的主要原理、步骤和主要特点的对比。

基于光栅化的经典渲染管线：

图7. 经典光栅化渲染管线

在计算机图形学中，基于光栅化的传统渲染管线主要是将各个目标物体按照几何图形进行模型抽象，然后在相机视角进行投影和着色，最后获得完整图像的过程。由于三角形表示方式简单且三点必定共面，所以通常采用基于三角形的抽象来进行几何抽象。目前较为广泛使用的渲染流程如图7所示，主要包括：

Vertex Processing：主要用来做模型视角的转换，通常包含世界坐标系、相机坐标系和模型坐标系的转换，对应有缩放、平移、旋转和投影等操作。

Triangle Processing：通常包含模型的进一步细分、抽象化简以及正则化等操作，后续演进的步骤中也包括典型的tessellation等；

Rasterization：光栅化步骤，主要是将空间中的三角形按照像素点采样的方式映射到二维的像素空间；

Fragment Processing：最终图像的像素点处理，通常包含视角远近的Z-Buffer测试、像素点着色（Shading）、纹理贴图（Texture）等一系列操作。

为了获得较为真实的渲染结果，需要提升物体建模的精度，从而使得整个渲染场景中三角形的数量极其庞大，对应每个步骤需要的计算量和对应的数据量也会飙升。在上述步骤中，主要的处理对象为三角形和像素点，并且通常各个三角形与各个像素点都相互独立，可以并行处理来实现整个渲染的加速。现代GPU中会采用通用并行计算单元加上部分专用硬化单元来加速上述过程。典型的Vertex Processing和Fragment Processing会采用并行计算单元加速，典型的Rasterization会用专门的Rasterizer进行加速。

基于光线追踪的渲染管线

图8. Ray Tracing示意图

光线追踪是三维计算机图形学中为了获得更真实的渲染效果所采取的算法，基本原理如图8所示，主要思路是从相机位置向每个像素点发射光线，并追踪光线传播过程中和各个物体的交互情况，并根据光线是否达到光源处进行停止追踪和像素点着色。

图9. 光线追踪渲染管线

目前比较广泛使用的光线追踪渲染流程如图9所示，主要包括：

Traversal Loop：在光线产生之后，会进入到基于包围盒（通常为层次化的包围盒，如BVH等）的遍历过程，找到可能会交互的具体物体，如果有光线追踪过程中交互的物体，则进入后续Ray Shading中的Close-Hit Shader。如果遍历完成仍未找到交互物体，则进入后续Ray Shading中的Miss Shader。

Ray Shading：主要包含Close-Hit Shader和Miss Shader。

由于完整运算所有路径非常消耗资源，通常上述步骤都采用专用硬件加速的方式进行并行加速。而且庞大的计算量和资源消耗也使得当前主要的光线追踪都用在云端或者桌面级GPU使用场景中，目前在移动端和座舱场景中仍较为稀少。

光栅化和光线追踪采用不同的方式完成三维复杂场景到二维图像的映射，主要的对比总结如下：

光栅化主要是基于几何投影的像素点离散化过程，主要问题是每个几何图形影响的像素点是哪些，以及如何影响这些像素点的着色。通常光栅化之前会先遍历物体对应三角形面，之后再遍历各个像素点进行计算，因此主要的加速方式是并行化三角形和像素点计算。

光线追踪则是基于像素点发出的光线和物体的交互，主要的问题是哪些物体可以被这个光线接触到，从而影响该像素点的着色。通常是先遍历像素点发出的光线，在每条光线计算中再遍历可能交互的物体，因此主要的加速方式是层次化包围盒和对应的交互测试。

GPU主流架构流派对比

GPU作为图形渲染加速单元，有着较为悠久的历史，目前主流的渲染GPU主要用作云端/桌面级设备图形渲染加速，和手机/平板等移动端设备图形渲染加速。由于两类场景对GPU的需求和约束差异较大，对应的GPU架构设计有明显的区别。而由于不同的GPU架构实现的都是基于光栅化的渲染和基于光线追踪的渲染，在并行化加速选择上都保持了共性。下文将具体介绍两类不同场景下的GPU架构设计：

云端/桌面级GPU架构：Direct Rendering

在云GPU和桌面级GPU运行场景中，由于发展历史等原因，GPU大多以独立显卡的形式存在于整个系统，从而供电和散热能力可以得到比较好的保证。通常GPU独立芯片的功耗可以达到300W，并且内存可以采用带宽较高的GDDR。因此GPU的性能和对应可获得的内存带宽都可以支撑高分辨率（2K以上）的渲染可以按照以帧为基本单位的方式，完成基于光栅化的渲染过程，以及近一两代产品可以支持的基于光线追踪的渲染过程。而且这样的方式可以有效减少Host CPU和GPU之间的命令交互和数据搬运，有效提升整个计算系统的效率。

图10. Direct Rendering流水线

经典Direct rendering流水线如图10所示，通常将Tessellation、Rasterization和Pixel处理中的Texture Processing通过专用加速模块进行加速，其他步骤则用可编程shader的方式，通过并行计算单元进行加速（通常实现为SIMD硬件单元和SIMT编程模型）。

目前云端和桌面级GPU主要的厂商是Nvidia和AMD，代表的产品分别是GeForce RTX系列和Radeon RX系列，最新的架构演进路线分别是Turing -> Ampere -> Hopper和RDNA -> RDNA2 -> RDNA3。上述两个架构系列，除了在经典渲染管线上的持续演进，也都在兼顾GPGPU通用计算上持续发力，并引入并持续提升光线追踪的硬件加速能力。代表性的技术点如图11和图12所示：

图11. Nvidia Turing架构改进的渲染管线对比

图12. Nvidia Turing初代光线追踪模块架构（AMD RDNA2开始引入光线追踪模块）

移动端GPU架构：Tile Based Deferred Rendering

移动端场景中，受限于芯片面积和功耗裕量的限制，GPU通常作为计算单元的形式集成到系统SoC而非以独立显卡的形式存在。而且由于低功耗的要求，通常使用的内存为LPDDR，使得GPU的性能和可获得的带宽要远低于云端和桌面级场景，因而以帧为单位进行高分辨的渲染计算所需要的功耗和带宽往往难以满足。同时由于Host CPU和GPU集成到同一个SoC，二者之间的命令交互和数据搬运更为高效。所以在移动端场景，通常采用的GPU是基于Tile的延迟渲染（Tile Based Deferred Rendering，简称TBDR）来实现经典基于光栅化的渲染过程。而光线追踪渲染流程由于计算量巨大，当前主流产品仍未引入相关加速单元，仅有部分IP供应商宣称即将支持（如ARM Mali-G715）。

图13. TBDR渲染流程示例

典型的TBDR渲染流程如图13所示，主要的流程包含3个步骤：

Binning Pass：处理物体的几何关系，进行空间坐标变换，并按照视线可及的标准进行筛选，然后按照相同大小的tile/bin进行划分；

Rendering Pass：基本流程与经典基于光栅化的渲染管线相同，将Rasterization和Fragment Shading同时在这个步骤中完成；

Resolve Pass：根据tile/bin的数量进行遍历，最终获得完整的帧图像。

目前移动端GPU主要厂商都是以IP的形式呈现，包括Imagination的PowerVR系列、Qualcomm的Adreno系列和ARM的Mali系列。主要的架构特性包括大容量片上缓存、
Tilling/Tessellation/Texture等专用硬件加速模块、专用带宽压缩解压缩模块等等。代表性的架构如图14所示。

图14. IMG PowerVR Series7XT架构示意图

智能座舱GPU的主要挑战和演进趋势

传统的汽车座舱中智能化水平相对较低，且供电散热系统所带来的芯片设计约束较大，因此GPU大多采用移动端架构设计思路进行设计。随着智能座舱的演进和电动汽车制造能力的升级换代，在对GPU提出更高要求的同时，也放宽了座舱芯片整体设计的约束，因此未来的智能座舱GPU将有机会进一步提升和发展。下文总结了当前可见的智能座舱中GPU面临的挑战和未来应用场景和架构演进的趋势。

主要挑战

高质量实时模拟能力：随着座舱的智能化演进，越来越多的屏幕和VR眼镜等外接设备被集成到座舱内部，对GPU的计算和吞吐能力要求越来越高。目前比较典型的配置中，高清仪表盘、高清中控屏、副驾驶/后座4K屏，以及4K分辨率VR眼镜等需要通过同一个GPU进行支持。在满足刷新率的同时需要保证足够的吞吐能力。同时对于高质量游戏渲染，基于光线追踪的渲染方式和基于物理引擎的碰撞模拟方式越来越多地被采用，能够较好的支持光线追踪和物理引擎也是对于GPU的一个重要挑战；

同时支持异构多操作系统和满足功能安全要求：由于座舱本身对于驾驶相关特性的安全等级有较高的要求，同时满足不同安全等级要求和高性能高能效的要求，当前的解决方案是同时启用不同安全等级操作系统和GPU的软件/硬件虚拟化，动态调整GPU资源分配，达到安全类应用获得高优先级、非安全类应用获得高利用率的效果。典型的虚拟化Top-Down示意图如图15所示。

图15. 座舱GPU虚拟化Top-Down示意图

未来趋势

电动汽车演进过程中逐步放宽对GPU的功耗和散热约束，使得GPU在保持传统渲染架构的基础上有效提升算力和可获得的内存带宽。

由于座舱应用的特殊性，很多场景定制化技术将逐步引进，比如仪表盘不同区域采用不同的刷新频率，比如针对多屏幕不同视角的同时渲染用来支持多用户同时游戏，等等。

基于光线追踪的渲染和基于物理引擎的模拟等计算负责、资源消耗高的方式会逐步引入座舱GPU和座舱应用生态。

结语

GPU作为计算机图形学最重要的芯片架构载体，在过往的历程中，已经在云端、桌面级和移动端发挥出了重大影响，带给人们对于游戏、科幻和未来的无穷想象，未来也将在智能座舱中延伸人们对于驾驶的想象和定义。