AI图片编辑神器Anydoor:开启图片编辑的任意门 图片主体随意移动

AI图片编辑神器Anydoor:开启图片编辑的任意门 图片主体随意移动

    正在检查是否收录...

随着数字时代图像编辑的飞速发展,来自香港大学、阿里巴巴和蚂蚁集团的新成果AnyDoor为图片编辑开辟了一扇全新的时代之门。

这是一项基于扩散技术的创新,具有将目标物体以和谐的方式传送到用户指定位置的神奇能力。与传统模型需要为每个物体调整参数不同,AnyDoor只需进行一次训练,就能在推断阶段轻松适应多样化的物体-场景组合。

这种具有挑战性的零障碍设置要求对某个对象进行充分的特征描述。为此,在常用的身份特征基础上,补充了细节特征,这些特征经过精心设计,既能保持纹理细节,又能允许多样化的局部变化(如光照、方向、姿势等),使对象能够与不同环境和谐融合。

此外,研究人员还提出从视频数据集中借用知识,从中观察单个对象在时间轴上的各种形态,以增强模型的泛化能力和稳健性。大量实验证明,我们的方法在效果上优于现有替代方案,并在虚拟试穿和物体移动等实际应用中展现出巨大潜力。

AnyDoor能实现的效果包括

1. 物体移动: AnyDoor可应用于高级任务,如物体移动,轻松实现场景中物体的位置变换。

比如把这张图里桌面上的位置任意变化:

2. 物体交换: AnyDoor可扩展为进行物体交换,为图像增添更多创意和趣味。

如下图,可以将图中两辆车的位置对调:

3. 多主体合成: 由于AnyDoor对于将物体放置在给定场景特定位置具有高度可控性,因此轻松扩展为多主体合成,创造更加丰富的画面。

比如把下图中所有的宠物狗都放到同一个草地上:

4. 虚拟试穿: AnyDoor可作为虚拟试穿的简单但强大基线。无需复杂的人体解析,能够保留不同衣物的颜色、图案和纹理。试穿衣服也能玩成贴画游戏版本,图中人物换上想要的衣服

这项技术创新为图像编辑领域带来了新的可能性,将在图像合成、效果图像渲染、海报制作、虚拟试穿等多个应用场景中发挥实际作用。

项目网址:https://damo-vilab.github.io/AnyDoor-Page/

论文网址:https://arxiv.org/pdf/2307.09481.pdf

虚拟试穿图像编辑多样化pdfgithub图像合成泛化能力git技术创新数据集可扩展稳健性海报制作研究人员视频数据集效果图图片编辑urlarxiv
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-3905.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

使用 PyTorch FSDP 微调 Llama 2 70B

上一篇

Midjourney V6史诗级升级,网友惊呼太逼真!神图接连曝出,传今明两天上线

下一篇
  • 复制图片
按住ctrl可打开默认菜单