Nvidia 发布 Edify 3D开yun体育网，通过文本生成 4K 级 3D 模子。

英伟达团队再次于我方的成本行大发光彩。近日发布的 Edify 3D 撑抓用户从文本指示或者图像来平直生成 4K 级别的 3D 实体与场景，这再次为游戏与影视假想行业注入了新的 AI 活力。

不恬逸于只是我方在纸上照着我方的目的去写写画画，可是又没元气心灵去学习专科的 3D 建模技巧，奈何破？

你有曾想过，只是通过翰墨描绘我方的想象，就不错将其创造为差别率高达 4K 的实体 3D 模子吗？

目下，你不错通过 Nvidia 发布的 Edify 3D 达成你的奇想妙想了！惟有你具有富有好的创意，以致不错愚弄 Edify 3D 来创造出经典的游戏、电影的 3D 模子实体，举例深嗜深嗜的小黄东谈主。

请看官方视频展示，用户只是进行翰墨描绘，Edify 3D 就不错即时生成高清的 3D 背景、头骨、乌龟等 3D 实体。

由于创建 3D 实质需要有关的专科技巧和专科学问，这使得此类钞票比图像和视频等其他视觉媒体稀缺得多。这种稀缺性引出一个要津的盘问问题，即怎样假想可膨胀的模子以有用地从这些数据中生成高质料的 3D 钞票。

Edify 3D 可在 2 分钟内左证文本描绘或者出路图像生成高质料的 3D 钞票，其提供详备的几何图形、了了的体式拓扑、有层有次的 UV 映射、高达 4K 差别率的纹理以及基于物理的材质渲染。与其他文本到 3D 门径比拟，Edify 3D 恒久如一地生成超卓的 3D 体式和纹理，在遵循和可膨胀性方面都有权臣改良。

Edify 3D 的进程

Edify 3D 的进程为：在给定对于 3D 实体对象的翰墨描绘后，多视图扩散模子会合成描绘对象的 RGB 外不雅。然后，生成的多视图 RGB 图像被用作使用多视图 ControlNet 合成名义法线的条件。接下来，重建模子将多视图 RGB 和正常图像看成输入，并使用一组潜在标志展望神经 3D 示意。然后进行等值面提真金不怕火和随后的网格后处理，以赢得网格几何。放大的 ControlNet 用于提高纹理差别率，对网格光栅化进行调换以生成高差别率多视图 RGB 图像，然后将其反向投影到纹理贴图上。

多视图扩散模子

创建多视图图像的过程相同于视频生成的假想的咱们通过使用相机姿势调换文本到图像模子，将它们微调为姿势感知多视图扩散模子。这些模子将文本指示和录像机姿势看成输入，并从不同的视点合成对象的外不雅。

跨视图发扬力

盘问者在模子磨练时，磨练了以下模子：

基于多视图扩散模子，该模子左证输入文本指示合成 RGB 外不雅以及相机姿态。多视图 ControlNet 模子，该模子基于多视图 RGB 合成和文本指示来合成物体的名义法线。多视图上采样限度网罗，该网罗在给定 3D 网格的栅格化纹理和名义法线条件下，将多视图 RGB 图像超差别率提高至更高差别率。

盘问者使用 Edify Image 模子看成基础扩散模子架构，结合一个具有 27 亿参数的 U-Net，在像素空间中进行扩散操作。ControlNet 编码器使用 U-Net 的权重进行开动化。他们通过一种新机制膨胀了原始文本到图像扩散模子中的自觉扬力层，以温顺不同视图，从而使得其看成具有换取权重的视频扩散模子。通过一个轻量级 MLP 对相机姿态（旋转和平移）进行编码，随后将这些编码看成时代镶嵌添加到视频扩散模子架构中。

盘问者在 3D 对象的渲染图上微调文本到图像模子。在磨练过程中，他们同期使用天然 2D 图像以及立时数目（1、4 和 8）的视图的 3D 对象渲染图进行勾通磨练。使用

参数对耗损进行磨练，与基础模子磨练中使用的门径一致。对于多视图 ControlNets，最初使用多视图名义法线图像磨练基础模子。随后，咱们添加一个以 RGB 图像为输入的 ControlNet 编码器，并在冻结基模子的同期对其进行磨练。

对于视图数目膨胀的消融盘问

在磨练过程中，盘问者会对每个磨练对象抽取 1、4 或 8 个视图，为每个视图分拨不同的抽样比例。天然不错在推理过程中采样苟且数目的视图，以使用不同数目的视图进行磨练，但最好已经将磨练视图与推理过程中预期的视图数目相匹配。这有助于最大限度地冒失磨练和推感性能之间的差距。

盘问者对比了两个模子：一个主要在 4 视图图像上磨练，另一个在 8 视图图像上磨练，并在换取视角采样 10 视图图像。如下图所示，与使用 4 视图图像磨练的模子比拟，使用 8 视图图像磨练的模子生成的图像更天然，各视图之间的多视图一致性更好。

使用四个视图的图像进行磨练的模子

使用八个视图的图像进行磨练的模子

重建模子

从图像不雅测中提真金不怕火 3D 结构频繁被称为照相测量，该时候已被平时应用于好多 3D 重建任务中。盘问者使用基于 Transformer 的重建模子从多视图图像中生成 3D 网格几何体式、纹理图和材质图。他们发现，基于 Transformer 的模子对未见过的物体图像阐发出庞大的泛化才调，包括从 2D 多视角扩散模子合成的输出。

盘问者使用仅解码器的 Transformer 模子，以三平面看成潜在 3D 示意。输入的 RGB 和法线图像看成重建模子的条件，在三平面标志和输入条件之间应用交叉发扬力层。三平面标志通过 MLP 处理以展望用于签名距离函数（SDF）和 PBR 属性的神经网罗场，用于基于 SDF 的体积渲染。神经网罗 SDF 通过等值面提真金不怕火调动为 3D 网格。PBR 属性通过 UV 映射烘焙到纹理和材质图中，包括漫反射神采和如纰漏度和金属通谈等材质属性。

盘问团队使用大鸿沟图像和 3D 钞票数据来磨练重建模子。该模子通过基于 SDF 的体积渲染在深度、法线、掩码、反射率和材质通谈上进行监督，输出由艺术家生成的网格渲染。由于名义法线计较相对崇高，是以需要仅在名义计较法线并对果然情况进行监督。

他们发现将 SDF 的概略情趣与其对应的渲染差别率对都不错提高最终输出的视觉后果。此外，还需要在耗损察较时代屏蔽物体角落以幸免由混叠引起的噪声样本。为了平滑样本间的噪声梯度，他们对最终重建模子权重应用了指数转移平均（EMA）。

重建模子方面的消融盘问

盘问者发现，重建模子在还原输入视图方面恒久比新视图更准确。该模子在视点数目方面具有邃密的膨胀性，即跟着提供更多信息，其性能得到提高。

输入视图数目的比较

对角线单位格示意输入视图与考据视图匹配的情况。这些对角线要求频繁清楚每行的最好扫尾，标明模子最准确地复制了输入视图。此外，跟着输入视图数目从 4 加多到 16，扫尾抓续改善。这标明重建模子从罕见的输入信息中受益，同期也阐明了 Edify 3D 的重建模子的可膨胀性。

受模子随视点数目膨胀的启发，盘问者进一步盘问磨练视点数目是否影响重建质料。他们使用固定的 8 视图竖立评估模子，其中模子使用 4、6、8 和 10 个视图进行磨练。

扫尾如下图（a）所示。尽管立时采样相机姿态在磨练过程中提供了各类化的视图，但跟着磨灭磨练智商中磨练视图数目的加多，重建质料仍在抓续提高。图（b）为标志数目的比较，它标明了在参数数目固定的情况下，模子需要更多的计较资源来处理更多的标志。

数据处理

Edify 3D 在非公开的大鸿沟图像、预渲染的多视图图像和 3D 体式数据集的组合上进行磨练。原始 3D 数据经过几个预处贤人商，以达到模子磨练所需的品性和表情。

数据处理进程的第一步是将统共三维图形调动为长入表情。最初对网格进行三角化处理，打包统共纹理文献，丢弃纹理或材质已损坏的图形，并将材质调动为金属纰漏度表情。通过这一过程，用户将得到一组三维图形，不错按照其意图进行渲染。

对于数据来讲，必要的一环是进行数据质料筛查。盘问者从大型三维数据围聚过滤掉非以物体为中心的数据，且从多个视角渲染体式，并使用分类器去除部分三维扫描、大型场景、体式拼贴以及包含支持结构（如背景和地平面）的体式。为确保质料，这一过程通过多轮主动学习进行，由东谈主类巨匠禁止制作具有挑战性的示例来完善分类器。此外，他们还禁受基于律例的过滤门径，去除昭着存在问题的体式，如过于单薄或短少纹理的体式。

为了将 3D 数据渲染成图像以用于扩散和重建模子，盘问团队需要使用自研的光照跟踪器进行传神渲染。他们禁受多种采样时候来处理相机参数。一半的图像以固定的仰角和一致的内参进行渲染，而剩余的图像则使用立时的相机姿态和内参进行渲染。这种门径既适用于文本到 3D 用例，也适用于图像到 3D 用例。

而对于 3D 实体的动作模拟来讲，则需要将模子和果然的实体进行轨范姿势对都。姿势对都是通过主动学习达成的。盘问者通过手动筹备少许示例，来磨练姿势展望器，并在好意思满数据围聚禁止愚弄繁难示例来完成轮回磨练。

为了给 3D 体式添加字幕，团队为每个体式渲染一张图像，并使用视觉说话模子（VLM）为图像生成长句和短句字幕。为了提高字幕的全面性，他们还向 VLM 提供体式的元数据（举例标题、描绘、分类树）。

扫尾

团队通过输入文本指示以及渲染，使得生成的 3D 模子包含详备的几何体式和了了的纹理，具有邃密理解的反射神采，使其适用于各式下流裁剪和渲染应用。

文本到 3D 生成扫尾

对于图像到 3D 生成，Edify 3D 不仅梗概准确还原参考对象的底层 3D 结构，况兼还能在输入图像中未平直不雅察到的名义区域生成详备的纹理。

图像到 3D 生成扫尾

Edify 3D 生成的钞票以四边形网格的局势呈现，拓扑结构组织邃密，如下图所示。这些结构化网格便于操作和精准治愈，卓越得当各式下流裁剪任务和渲染应用。这使它们梗概无缝集成到需要视觉果然性和活泼性的 3D 使命进程中。

四边形网格拓扑

总的来说，Edify 3D 是一种针对高质料 3D 钞票生成的惩处有打算。其盘问团队悉力于于鼓舞和发展 3D 钞票自动化生成的新器具，使 3D 实质创作愈加易于。

参考贵府：

https://research.nvidia.com/labs/dir/edify-3d/

本文来自微信公众号"新智元"开yun体育网，作家：泽正。