IT之家 11 月 20 日消息，Meta 昨日宣布为 Facebook 和 Instagram 推出两款基于 AI 的图像编辑工具，分别是“Emu Edit”和“Emu Video”，适用领域包括照片和视频，目前 Meta 公布了这两项 AI 工具的更多信息，IT之家整理如下。
官方介绍称，Emu Edit 模型仅用文字指令就可以准确编辑图像，而通过分解文字转视频（Text-to-Video，T2V）的生成过程，开发团队公布了一种名为 Emu Video 的方法，可以改善最终生成视频的品质和多样性。
据悉，Emu Edit 号称是一种创新的影像编辑方法，目的是要简化各种影音操作任务，为视频编辑提供更多功能与更高的精确度。
Emu Edit 可以接受用户指令，进行各种形式的编辑，包括区域和全局编辑、移除和添加背景，也能够调整颜色并进行矢量图转换，或进行图像构成元素的检测和分割。
Meta 表示，Emu Edit 把视觉任务作为指令，纳入到所生成模型中，进而在视频生成和编辑中，提供更好的控制能力。研究人员指出，当前的图像编辑模型，通常会过度修改图像，或是修改不足，而 Emu Edit 的优势在于能够准确按照指令进行编辑。
Meta 使用了 1000 万个合成数据集训练 Emu Edit，号称是目前同类中规模最大的数据集，从而带来了更好的图像编辑能力，其中每个样本都包含图像输入、任务描述，以及目标输出图像。可使模型忠实地执行指令，产生“比当前所有竞品都要好的结果”。
而 Emu Video 是一种简单且高效的文字转视频生成方法，该方法运用扩散模型，并以 Emu Edit 为基础。开发团队解释，这种通过生成视频的架构能够应对外界各种输入方式，包括文字、图像、图文组合等，此外 Emu Video 也能接受文字类提示词，将用户提供的图像“动画化”，从而提供了“超越过去模型的能力”。
Emu Video 将影片生成过程拆分为两个步骤，首先是根据文字提示生成图像，然后基于文字和生成图像产生视频。这种拆分步骤的影片生成方法，让研究人员可以有效地训练生成模型。
研究人员进一步解释，Emu Video 与过去 Make-A-Video 等需要一系列深度生成模型的研究不同，Emu Video 更简单，仅使用 2 个扩散模型，就能生成 512x512 分辨率、每秒 16FPS、长 4 秒钟的视频。
IT之家发现，Meta 援引评估数据，证明 Emu Video 生成的视频品质以及“遵循提示词的忠实程度”相对业内竞品更好。
在品质方面，有 96％受访者偏好 Emu Video 而非此前的 Make-A-Video 方案，而对于“提示词的忠实度”方面，Emu Video 获得了 85％受访者的青睐。
ide生成模型图像编辑研究人员提示词文字转视频开发团队数据集扩散模型生成视频视频生成视频编辑url多样性图像输入矢量图facebook提示生成编辑工具多功能合成数据ai 工具instagramllm文字提示
