SHARP2020：从部分纹理化3D扫描中恢复形状挑战结果解读

### SHARP 2020：从部分纹理化 3D 扫描中恢复形状挑战结果解读 在工业和研究领域，将物理世界以 3D 形式呈现，涵盖形状和颜色信息，具有至关重要的意义。它广泛应用于虚拟现实、文化遗产保护、医疗、健身、娱乐和时尚等众多领域。3D 扫描技术能够将物体和人类数字化，但获取的 3D 扫描数据质量受扫描系统、目标特性和环境等多种因素影响。比如，高端摄影测量扫描系统虽能高速捕获高质量数据，但可能体积庞大、结构固定、易受遮挡且扫描范围有限；手持设备虽便于携带和操作以减少遮挡，但难以处理移动目标且耗时较长；而低端扫描系统虽灵活易操作，但扫描质量较低。此外，目标本身或环境的因素，如细节程度、遮挡、非刚性、运动和光学特性等，也会对扫描数据造成影响。在某些情况下，由于采集系统耗时或目标移动，只能获取部分数据。因此，SHARP 2020 挑战应运而生，旨在推动从部分 3D 扫描数据中恢复 3D 形状和纹理的研究，并提供相关基准。 #### 1. 挑战与数据集 SHARP 挑战分为两个独立的挑战： - **挑战 1**：专注于人体扫描的恢复。 - **挑战 2**：聚焦于通用物体扫描的恢复。 为这两个挑战分别引入了两个对应的数据集： | 数据集 | 子集 | 训练集样本数 | 验证集样本数 | 测试集样本数 | 总数 | 挑战 | 赛道 | | --- | --- | --- | --- | --- | --- | --- | --- | | 3DBodyTex.v2 | 完整 | 2094 | 454 | 451 | 2999 | 1 | 1 | | 3DBodyTex.v2 | 服装 - 健身 | 844 | 178 | 182 | 1204 | 1 | 2 | | 3DBodyTex.v2 | 服装 - 休闲 | 1250 | 276 | 269 | 1795 | - | - | | 3DBodyTex.v2 | 姿势 - 标准 | 977 | 219 | 224 | 1420 | - | - | | 3DBodyTex.v2 | 姿势 - 其他 | 1117 | 235 | 227 | 1579 | - | - | | 3DObjectTex | - | 799 | 205 | 205 | 1209 | 2 | - | - **3DBodyTex.v2**：是 Saint 等人提出的 3DBodyTex 的扩展版本，包含约 3000 个具有高分辨率纹理的静态 3D 人体扫描数据。该数据集涵盖了约 500 个不同的受试者，每个受试者大约有 3 种姿势。大多数受试者会穿着标准紧身服装和随意休闲服装进行相应姿势的扫描。为保护隐私，人脸的形状和纹理进行了模糊处理。 - **3DObjectTex**：是 viewshape 存储库的一个子集，包含约 1200 个纹理化的 3D 通用物体扫描数据，物体的类别和物理尺寸差异较大。 这两个数据集都将扫描数据编码为 3D 三角形网格，颜色信息则编码在纹理图集中，每个网格具有独立且任意的 UV 映射。 ##### 1.1 挑战 1：人体扫描恢复 挑战 1 涵盖了穿着宽松休闲服装和紧身服装的人体扫描重建，进一步分为两个赛道： - **赛道 1：大区域恢复**：专注于人体扫描大区域（不包括手和头部）的重建，同时考虑形状和纹理。这些大区域在原始参考数据中质量相对较高，而手和头部的细节质量不可靠，因此在本赛道中被忽略。使用的是完整的 3DBodyTex.v2 数据集。 - **赛道 2：精细细节恢复**：关注赛道 1 中未考虑的人体精细细节，如手、手指和鼻子。由于原始扫描数据中这些细节的质量不可靠，且出于隐私考虑未发布人脸数据，因此参考数据是通过人体模型和 3DBodyTex.v2 中健身服装扫描数据合成生成的。具体步骤如下： 1. 将参数化人体模型拟合到扫描数据上，以获取地面真值数据。 2. 在软件中模拟扫描过程，以获得合成扫描数据（在感兴趣区域，如手、耳朵等，带有模拟伪影），并从该合成扫描数据中生成部分数据。 在这个赛道中，由于原始数据中纹理质量不可靠，且参数化人体模型仅表示形状，因此不考虑纹理信息。 ##### 1.2 挑战 2：通用物体扫描恢复 挑战 2 主要关注通用物体的形状和纹理补全。 ##### 1.3 部分数据生成 在所有挑战中，部分数据是通过随机移除表面区域合成生成的，具体步骤如下： ```mermaid graph LR A[输入中央顶点 vc 和要移除的顶点数 k] --> B[选择与 vc 欧几里得距离最近的 k 个顶点] B --> C[从网格中移除所选顶点和相邻三角形] C --> D{是否重复 40 次} D -- 否 --> A D -- 是 --> E[完成部分数据生成] ``` 这个过程重复 40 次，其中 k 设置为网格点数的 2%。对于挑战 1，部分数据仅在考虑的区域内生成（赛道 1 为除手和头部之外的所有区域，赛道 2 仅在手、耳朵和鼻子上）。部分数据由参与者自行生成，若报告其他生成方法也是允许的。同时，提供的软件库中包含了生成部分数据的例程