展望未来 | 计算机图形学：虚拟和现实世界的融合

计算机图形学技术实际上是支持各种影视特效、三维动画影片、计算机游戏、虚拟现实以及大家手机上各种照片视频美化特效背后的技术基础。

在计算机诞生后，如何在计算机中有效地表达、处理以及显示三维信息，很快变成了计算机应用研究中的一个重要问题。针对这一需求，计算机图形学在二十世纪六十年代应运而生。

作为一个计算机应用学科，计算机图形学的内涵和外延在过去几十年里也在不断地演进和扩展。但是如果我们关注过计算机图形学的阶段发展研究，一方面会惊叹其中纷杂精彩的研究题目和每篇文章作者的奇思妙想，另一方面也难免感到有些迷失，似乎图形学仅仅是在不断追求新奇和炫目的视觉效果。在这篇文章中，我们试着对图形学的现状、发展和未来做一些思考，并尝试一一回答这些问题。 

图形学的核心科学问题是在计算机中有效的表达和处理三维世界的各种属性。图形学所处理的三维信息既包括物理真实世界中的三维信息，也包含我们人类大脑通过想象产生的虚拟的三维信息。

在计算机图形学诞生之前，物理学家和数学家已经对真实三维世界进行了长期的研究，把我们观察到的世界有效的解构为核心的一些物理量和他们之间相互作用的规律。如图1所示，传统的图形学受物理学和数学启发，将三维对象分解为几何、表观、行为或者动态三种属性。

针对这些三维对象的不同三维信息（几何、表观、行为），我们把图形学的研究方向和技术也可以大致分为三个大类：

一是获取和建模。主要研究如何有效地构建、编辑、处理不同的三维信息在计算机中的表达，以及如何从真实世界中有效地获取相应的三维信息。

二是理解和认知。主要研究如何识别、分析并抽取三维信息中对应的语义和结构信息。

三是模拟和交互。主要研究如何处理和模拟不同三维对象之间的相互作用和交互过程。

图1：图形学中三维信息的属性，研究对象，与技术分类。最外环为图形学的应用场景。浅蓝底色的的为现有的应用。黄色高亮的为新的应用。

在应用层面，图1中最外环黑色字展示了计算机图形学的经典应用场景，图形学的早期发展来源于使用计算机设计真实世界产品的需求，如汽车外形。因此，计算机辅助设计和制造成为了计算机图形学在真实世界的核心应用场景。随着图形学的发展，创建虚拟场景实现人类的想象，成为了图形学在虚拟世界的核心应用场景，产生了游戏、影视特效等应用场景。随着相机的普及，图片和视频的编辑也成为图形学中一个重要的横跨虚拟世界和真实世界的重要应用。

回顾和思考过去几十年来图形学的发展，我们发现图形学研究的核心对象和科学问题并没有发生根本性的变化。但是技术和三维信息的表达却在不断的发展更新。而这些技术的发展往往发端于新的硬件设备的出现和普及。

新的硬件设备的出现一方面引发了新的应用需求，或使得某个应用的技术成本急剧的下降。另一方面带来了新的数据和技术问题，从而引发了新的研究方向和技术，推动了对图形对象表达的更新和研究方法的更新。而这些技术的发展又反过来进一步推动了硬件的发展和应用的普及，从而带动整个领域的快速迭代发展。

图2：对图形学发展模式的一些思考。

展望未来，我们认为，上述图形学发展的模式还会继续。硬件的发展和革新，会不断促进了新的图形技术和应用产生和迭代发展。在这个过程中，图形学也在不断地结合计算机视觉、光学、信号处理与机器学习等学科的最新研究成果，来解决图形学中的研究问题。

在硬件设备方面，下面的这些硬件会迎来新的发展并带来图形学技术和应用的革命性进展。

●   三维显示。提供高分辨率，高动态范围的全三维显示。

●   深度相机。提供和现有的彩色相机相匹配的高分辨率，高帧率，低功耗，低噪声的深度相机。

●   多自由度机械手和类人软体机器人装置。提供低成本，高精度，编程可控的多自由度机械手以及具有类人外形的软体机器人。

●   三维打印机。提供同时支持多种打印材料，高精度，低价格，快速的三维打印。

●   IOT与传感器。提供小型、省电、低成本的能测量真实世界各种物理参数的传感器与实时的数据收集。

●   力学捕捉与反馈设备。提供精确的，具有高空间分辨率和分辨率的触觉输入输出。

随着上述硬件设备的发展和普及，以及计算机视觉和机器学习技术的进步，图形学的应用场景将得到更大的扩展。

面向真实世界，机器人和三维打印将成为新的应用场景。

面向虚拟世界、虚拟现实，混合可视媒体将成为新兴的应用场景，带给人们更好的娱乐体验，释放人类的想象力。

在真实世界和虚拟世界之间，增强现实将虚拟信息融合进真实世界，并增强人类在真实世界的体验；

数字化孪生则产生真实世界在虚拟世界的镜像，方便我们更好地管理规划真实世界。

上文中，我们看到了未来计算机图形学的应用场景，并讨论了每个应用场景所需要的关键技术。这些需求也为图形学的发展提出了一系列的研究问题与挑战：

●   高效高质量的三维内容创作系统

虽然已有的图形学算法和系统可以让艺术家创作出具有高度真实感的虚拟环境和栩栩如生的人物及其动态，这一过程仍然需要大量时间、专业技巧以及昂贵复杂的设备。发展高效高质量的三维内容生成算法和创作系统是图形学研究中一个永恒的任务，也是虚拟现实、数字化孪生以及新一代的混合媒体等应用场景得以实现的关键技术。

●   三维世界的实时理解与分析

实时地对我们所处的三维世界进行理解，识别出场景中物体和人，推断物体和人之间的空间关系与约束，以及人的动作，是增强现实和机器人应用场景中的核心技术。

在计算机视觉领域，由于大量标注数据的出现和深度学习技术的发展，图像和视频的理解与分析工作取得了飞速的发展。但是三维世界的理解和分析工作仍旧处于起始阶段。

●   大规模可扩展的实时模拟技术

在真实世界中，不同物体的运动和相互作用构成了世界复杂的动态。而在人类社会中，人的行为和交互则更为复杂。模拟这些复杂的动态和交互是图形学中一个重要任务，也是三维打印、机器人、数字化孪生应用背后的重要技术支撑。现有的图形学技术发展了一系列快速的技术来模拟环境、物体和人的运动和复杂交互。然而，这些算法仍然存在复杂性高、计算不稳定、收敛慢的问题。寻找适用于不同场景的更为通用的模拟算法，发展快速数值解法，将深度学习技术用来加速优化求解，以及利用增强学习技术进行运动的规划都是这一领域下一阶段的研究重点。

图3：图形学中三维信息表达的演变。从左到右：基于物理的表达；基于观测的表达；基于学习的本征空间表达。

●   人机交互与图形学的深度结合 

随着新型传感器、穿戴设备、VR/AR/MR设备的迅猛发展，人们有着更多的方式与机器打交道。这些新的输入输出方式也为图形学研究带来新的挑战。如何使用多元异构的数字输入信息来指导生成符合用户期望的三维影像与世界，如何针对不同设备设计便捷的输入方式与交互手段等问题，都值得图形学研究者与从业者积极探讨与深入研究。

通过上述内容，我们可以很容易地看到，每个新的图形学应用场景都不可能由单一的一个图形学技术来解决。为此，我们不仅需要在每个研究方向上进一步努力，更需要借鉴最新的机器学习技术和计算机视觉技术，以及本领域的其它研究方向的技术和算法，才能最终解决问题。

放眼未来，随着计算机图形学的进一步发展，计算机辅助设计和制造技术的进步，带有传感器的三维打印的个性化产品和机器人将被广泛应用于人类的实际生活和现实世界中。而真实环境的数据化孪生也将在计算机中实时地监控着真实环境的动态变化，规划协调机器人高效地完成不同任务。

而在虚拟世界中，随着内容创作工具的进步，每个人的艺术天分都可以得到充分发挥，从而自由地创建自己的虚拟世界、游戏和虚拟化身。随着下一代的虚拟现实设备和增强现实设备的出现，真实和虚拟的世界会得到更好的融合，新一代的人类将不需要再区分真实世界和虚拟世界。人、计算机（机器人和虚拟世界）和真实的物理世界将和谐高效地融合在一起，带给人类一个超现实的世界。

——END

编辑 ：艾蒂娜 艾蒂娜科技 白小极