近年来，AI图像生成器因其便捷性而变得异常受欢迎，但也引发了一系列问题。在CISPA Helmholtz信息安全中心的研究中，研究员Yiting Qu探讨了这些图像生成器中存在的不安全图像问题，并提出了一种用于解决此问题的过滤器。
她一篇论文中指出，用户通过所谓的文本到图像模型，如Stable Diffusion、Latent Diffusion或DALL·E，可以通过输入特定文本信息生成数字图像。然而，Qu发现一些用户将这些工具用于生成色情或令人不安的图像，尤其是当这些图像在主流平台上广泛传播时，问题更为突出。
为了解决这一问题，研究人员对四个最知名的AI图像生成器进行了测试，包括Stable Diffusion、Latent Diffusion、DALL·E2和DALL·E mini。通过使用特定集合的文本输入提示，其中包括来自4chan和Lexica网站的内容，他们发现在所有生成器中，有14.56%的生成图像被定义为“不安全图像”，而Stable Diffusion的比例最高，达到18.92%。
为了应对这一问题，Qu提出了三种解决方案。首先，开发人员在训练或调整阶段应筛选训练数据，减少不确定图像的数量。其次，规范用户输入提示，例如删除不安全关键词。最后，对于已经生成的不安全图像，需要一种方式对这些图像进行分类和在线删除。这也需要平台上的过滤功能来实现。
Qu指出，尽管防止图像生成是一种方式，但更重要的是沿着文本到图像模型的供应链采取综合性的措施。她表示，自己开发的过滤器在防止不安全图像生成方面取得了更高的命中率，但仍需要在自由和内容安全之间找到平衡。她希望通过这项研究帮助减少未来互联网上流传的有害图像数量。
论文网址:https://techxplore.com/journals/arxiv/
图像生成diffusion生成器图像生成器dall·estable diffusion图像模型ai图像生成器ai图像过滤器ai图像生成文本到图像arxivurl研究员研究人员供应链互联网文本输入解决方案训练数据开发人员关键词信息安全
