基于单幅照片的服装三维重建算法研究

李皓然,李超前,闫培,王墨林,王昕宇

摘要：如何从单幅图像重建出被拍摄物体的几何形状是计算机视觉领域中充满挑战的问题。使用该技术对服装进行三维重建是近年较为热门的研究命题。目前已有基于物理建模、基于剪影、单视图/多视图几何重建、基于深度图像、基于深度学习技术等方式的人体三维重建的工作，然而这些工作是将人体和服装用统一的网格进行表达，并且重建出的结果有大量丢失服装的细节信息，例如褶皱和纹理。本文研究了一种基于单张图片的服装建模的算法，算法中输入的单张图片不需要额外的信息，可以高效地将单幅图片中的衣服部分重建出高质量的三维网格模型。

关键词：三维重建，深度学习，图卷积网络，参数化网格

1. 前言

在单幅图像三维重建研究中最热门的工作是人体三维重建，近些年国内外的研究团队开发了各种效果出色的人体三维重建算法。然而很多工作都忽略了人体所穿着的服装信息，甚至很多的工作为了提高人体重建效率，将人体直接近似为裸体的网格模型，因而重建出的结果虽然拟合出很好的人体造型，但无一例外的都丢失了衣服信息，尤其是诸如褶皱和纹理等细节信息。其次，也出现了一些关注服装三维重建的工作，但是这些工作的效果并不好，重建出的衣服网格是一个实心体，这不符合服装在真实世界中是具有任意造型的拓扑结构的规则。在单幅图像三维重建工作中，在理论上一直存在难点。其中如何对遮挡部分的三维结构进行推测和重建也是现在需要解决的关键问题。因而研究一种专门针对服装进行三维重建的工作十分有意义，且这种技术应用十分广泛，比如：虚拟试衣、游戏动画制作等行业。

2. 服装数据采集与处理

在数据集设计之初，服装模型采用什么样的格式进行表达是本文思考的一个问题。目前学术界中通常使用如下格式来表达三维数据，分别是：体素、点云、网格、深度图。这些表达方式各有优势，然而最终本文选用了稠密点云作为数据集的groundtruth格式，这也是与算法设计相结合而决定的，因为本文最终将该任务抽象为点云的回归问题。为此，本文采用传统的多视图立体几何方式来进行服装三维重建来构建数据集，通过环绕拍摄得到图像序列进而重建出每一件服装的稠密点云模型。在进行正式的实验数据采集前，本文进行了多次详细的光照测试实验。通过对比日光和室内灯光，以及单一光源和多光源这些不同环境下的实验结果，最终确定采用室内单一光照环境进行数据采集，这样可以保证数据的精度最高，效果最好，平均每一件服装需要采集大约50帧左右的图像。这是一个十分费时费力的工作，所有的服装采集完成后，一共产生了大约12万张的图像数据。这些都是后续进行服装三维重建工作的重要素材。

3. 服装三维点云重建算法

本文的工作中采用多视图立体几何算法将图像序列转换成三维点云。在获得拍摄场景的深度信息之后，通过对点云数据进行精确的配准和融合操作后，使得每一帧下生成的片段点云在一个全局坐标下拼接成一个完整的点云数据，这样就完成了稀疏三维重建任务，可以在三维点云模型的基础上开展后续更高级别的三维计算机视觉任务。按照被动式测量与主动式测量对目标物体深度信息的获取方法进行了分类，而本文采用的算法是被动式测量法。被动式测量算法采用拍摄场景的环境光作为光源，相机负责成像与采集图像数据的工作，通过立体几何算法计算出物体在三维空间上的几何信息。目前学术界上主要有三种被动式测量法，下面对其分别进行详细的介绍。

(1)纹理恢复形状法

纹理恢复形状法的主要理论是：在图像中有许多的视觉基元，它们是构成图像信息的最基本元素，纹理信息存在于图像的各个位置上且具有不同的朝向。现实空间中的一个布满纹理的物体通过透视几何投影到相机成像平面上时，其纹理会发生相应的畸变。如上文所述，该算法严重依赖于物体上丰富的纹理信息，同时需要获取到纹理在成像过程中发生的畸变信息，因而其应用范围十分狭隘，通常只适用于物体纹理丰富的任务，因而在业界实际需求并不广泛。

(2)阴影恢复形状法

从阴影恢复形状也是一种比较常用的方法。较为典型的工作是基于剪影图恢复出物体几何结构以及基于视觉的三维重建算法。在像素中通常阴影部分是图像的边缘信息，这部分具有最大的像素梯度值。因而学术界中利用图像中像素的明暗差异来计算物体表面的深度信息，同时建立物体表面的光照反射模型，在求解出相关系数后可以对物体进行三维重建工作。但是这种算法的缺点主要体现在重建过程多为数学计算、重建结果不够精细。同时纹理法还有一个重要的问题是需要获取准确的光源参数（包括位置参数和方向参数），从而导致纹理法无法在具有复杂光照条件下的室外环境中开展三维重建工作。

(3)立体视觉法

立体视觉法是在学术界中使用最为广泛的一种算法，也是最新提出的一种算法。这种方法有以下几种方式：直接使用深度采集设备获取深度数据、通过多幅图像之间的特征匹配计算相机参数进而逆向计算出深度数据。通过对人类的视觉系统进行仿真，计算图像之间对应特征点之间形成的视差图计算三维几何信息。

4. 结语

本文阐述了三种基于图像序列的多视图三维重建算法。如何准确获取到场景中物体的深度信息是三维重建技术中最为重要的任务，许多学者围绕这一问题展开深入的研究。同时学者们可以在三维点云模型的基础上开展后续更高级别的三维计算机视觉任务。学者们按照被动式测量与主动式测量对目标物体深度信息的获取方法进行了分类，而本文采用的算法是被动式测量法。被动式测量算法采用拍摄场景的环境光作为光源，相机负责成像与采集图像数据的工作，通过立体几何算法计算出物体在三维空间上的几何信息。在三维模型的存储格式中，点云文件是最受学者们欢迎的。因为采用各种设备可以快速的获取点云数据，如激光扫描仪、深度相机等。点云文件中的每一个点包含了坐标信息、颜色信息、法向量等。根据实际使用需求可以设置相应的分辨率。最终是以稠密的彩色点云形式展示出每一件服装的三维几何结构信息，并且清晰的展示服装褶皱部分的细节。

参考文献

[1]曹宇.单幅图像服装三维重建技术研究[D].西安电子科技大学,2020.DOI:10.27389/d.cnki.gxadu.2020.002816.

[2]成俊燕.基于单张图片的服装建模相关算法研究[D].浙江大学,2017.