ZeST：将一种材质从一个图像迁移到另一个图像的对象上

ZeST（Zero-Shot Material Transfer）是一种从单一图像进行材质迁移的方法。该技术能够在没有任何先前训练的情况下，直接将一种材质从一个图像迁移到另一个图像中的对象上。

ZeST 是由牛津大学、Stability AI 和 MIT CSAIL 的研究团队共同完成。

技术优势：

• 零训练需求：作为一个零样本方法，ZeST 不需要基于大量数据的预训练，这降低了技术使用的门槛和成本。
• 实时应用能力：因为不依赖云端处理或复杂的预训练模型，ZeST 能够在设备上实时进行材质迁移，增强了应用的灵活性和即时反馈能力。
  

1. 零样本材质迁移：
   • ZeST 允许用户无需任何预训练即可从一个给定的材质示例直接迁移到图像中的特定对象。这种方法极大地简化了材质迁移的过程，并减少了对大量训练数据的依赖。
2. 多材质编辑：
   • ZeST 不仅支持单一材质的迁移，还能处理单一图像中的多重材质编辑。这为图像创作者提供了更大的灵活性和创造力发挥的空间，特别是在需要对图像中多个元素进行材质调整的情况下。
3. 照明感知材质编辑：
   • 在进行材质迁移时考虑照明影响是一个技术难点，ZeST 能够执行隐式的照明感知编辑。通过利用输入图像的灰度阴影作为照明线索，ZeST 能更自然地融合新材质，保持光照一致性，提高迁移后图像的真实感。
4. 深度和灰度利用：
   • 该技术利用从输入图像中生成的深度图和前景灰度图，作为几何和照明的线索，帮助更精确地定位和调整材质迁移。
5. 实时处理：
   • 对于设计师和艺术家来说，能够快速预览和修改材质迁移效果是非常重要的。ZeST 的技术实现支持在设备上快速处理图像，无需依赖云计算或服务器端处理，提升了工作效率和应用的即时性。
6. 可扩展性和灵活性：
   • ZeST 的设计允许它轻松扩展到其他类型的图像编辑任务，如色彩调整或图像风格转换，提供广泛的应用前景。
7. 隐私保护：
   • 由于所有处理都在本地设备上完成，ZeST 为用户提供了更高的数据安全和隐私保护。这对于处理敏感或私人图像尤为重要，用户无需担心个人数据被上传至第三方服务器。 16 个从不同范例中进行材料转移的示例。这些材料范例既包括 PBR 材料，也包括现实世界中的物体。

在单幅图像中进行多重材料转移

ZeST 技术通过结合最新的图像处理技术和机器学习模型，实现了从单一图像的零样本材质迁移。这一技术主要依赖于以下几个关键步骤和方法：

1. 材质示例编码：
   • 图像编码器：使用图像编码器（如IP-Adaptor）对材质示例进行编码。这一步骤将材质示例图像转化为一个隐含的材质表示，这种表示能捕捉到材质的关键视觉特征。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

Login if you have purchased

Subscribe
Gain access to all our Premium contents.
More than 100+ articles.Subscribe Now

Generated by RSStT. The copyright belongs to the original author.

Source