芝加哥大学的研究人员与Snap Research合作，推出了一种名为3D画笔（3D Paintbrush）的人工智能方法，通过文本描述自动生成网格上的局部语义区域的纹理。这一创新使得用户可以通过直观的、自由形式的文本输入控制纹理编辑，为各种网格描述其编辑。
为了提高局部纹理区域的细节和分辨率，研究团队引入了级联分数蒸馏（CSD）和神经场的概念。通过这些方法，他们能够修改定位区域并在局部区域内变形几何形状。采用多层感知器对神经场进行编码，以表示定位和纹理映射，确保了纹理的一致局部风格。
与现有模型相比，研究人员表示，3D画笔的定位更加清晰，并使用级联分数蒸馏控制监督的粒度和全局理解，实现了比其他SDS更高分辨率的纹理和定位。
该方法通过在3D表面上定义的多层感知器（MLPs）创建神经纹理，产生在3D中平滑变化的输出。这在2D纹理图在纹理接缝处存在不连续性时尤为重要。MLPs提供的平滑性减少了纹理的伪影，减少了噪点，并具有超分辨率能力。
研究团队同时优化了定位和纹理区域，他们发现同时优化可以产生高度详细的纹理，有效地符合预测的定位区域。未来，他们计划将局部编辑能力扩展到文本化以外，并学习使用相同的局部纹理图在多个形状之间提供对应关系。
这一研究为3D建模和纹理编辑领域带来了新的可能性，为游戏、动画、电影等各个行业提供了更加高效和直观的纹理编辑工具。
项目网址:https://threedle.github.io/3d-paintbrush/
论文地址:https://arxiv.org/abs/2311.09571
分数蒸馏研究人员人工智能自动生成github3d建模超分辨率高分辨率编辑工具git文本输入snap局部编辑几何形状urlarxiv
![大模型笔记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本v0.5.3.post1封面](https://i-blog.csdnimg.cn/direct/30f065ad34cc4415bca6ce81f26e7737.png)
