一、AI生图的发展历程
随着人工智能（AI）技术的不断演进，特别是AIGC（AI-Generated Content，人工智能生成内容）的兴起，AI生图技术——即利用AI算法自动生成图像的技术，已经从一个遥远的梦想转变为现实应用中不可或缺的一部分。
1、计算机图形学的奠基
AI生图技术的起源可以追溯到计算机图形学的早期发展。从20世纪中叶起，随着计算机科学的兴起，人们开始尝试用计算机生成简单的图形。这一时期的技术积累为后来的图像生成技术奠定了坚实的基础。
2、算法的突破与初步尝试
进入80年代末至90年代，随着遗传算法、模拟退火等优化算法的提出，计算机开始能够生成更为复杂和多样化的图像。这些算法通过模拟自然进化或物理过程，在图像空间中搜索最优解，为AI生图提供了初步的思路和方法。
3、AIGC的崛起：技术的飞跃与应用的拓展
深度学习与GAN的突破
进入21世纪，特别是深度学习技术的兴起，特别是卷积神经网络（CNN）和生成对抗网络（GAN）的提出，彻底改变了AI生图技术的格局。GAN通过生成器和判别器的相互对抗训练，极大地提升了图像生成的质量和多样性，为AIGC在图像领域的广泛应用提供了可能。
AIGC引领的创意爆发
随着AIGC技术的不断成熟，AI生图不再仅仅局限于生成简单的图形或图像，而是能够根据用户的指令、风格参考或情感需求，创作出富有创意和个性化的图像作品。从艺术创作到广告设计，从游戏开发到影视制作，AIGC正逐步渗透到各个领域，成为推动内容创作和传播的重要力量。
AI生图中的应用与影响
1、Ai生图模型的发展
最早的AI生图可追溯到20世纪70年代，当时由艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机械臂输出作画。
现代的AI生图模型大多基于深度神经网络基础上训练，最早可追溯到2012年吴恩达训练出的能生成“猫脸”的模型。
它使用卷积神经网络（CNN）训练，证明了深度学习模型能够学习到图像的复杂特征。
2015年，谷歌推出了“深梦”（Deep Dream）图像生成工具，类似一个高级滤镜，可以基于给定的图片生成梦幻版图片——
2021 年 1 月 OpenAI 推出DALL-E模型（一个深度学习算法模型，是GPT-3 语言处理模型的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计——
在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。
一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。
并且在AI生图的快速发展下，新闻和一些文章中使用的图片来源我们已经很难辨认，并且随着时代的快速发展AI 生图的热潮将会持续上升。毕竟按照心意生图多么美妙。
二、AI生图模型的使用
从这次学习活动、可图Kolors-LoRA风格故事挑战赛、魔搭社区的各类AIGC工具 开始，持续探索、尝试、思考总结、实践，
比如可图 · 模型库 (modelscope.cn)
通过Notebook快速开发
Kolors（可图）模型(点击即可跳转魔搭模型介绍页)打开实例
即可。
三、利用AI辅助精度baswline代码
1、baseline中代码结构如下：
!pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip uninstall pytorch-lightning -y !pip install peft lightning pandas torchvision !pip install -e DiffSynth-Studio from modelscope.msdatasets import MsDataset ds = MsDataset.load( 'AI-ModelScope/lowres_anime', subset_name='default', split='train', cache_dir="/mnt/workspace/kolors/data" ) import json, os from data_juicer.utils.mm_utils import SpecialTokens from tqdm import tqdm os.makedirs("./data/lora_dataset/train", exist_ok=True) os.makedirs("./data/data-juicer/input", exist_ok=True) with open("./data/data-juicer/input/metadata.jsonl", "w") as f: for data_id, data in enumerate(tqdm(ds)): image = data["image"].convert("RGB") image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} f.write(json.dumps(metadata)) f.write("\n") data_juicer_config = """ # global parameters project_name: 'data-process' dataset_path: './data/data-juicer/input/metadata.jsonl' # path to your dataset directory or file np: 4 # number of subprocess to process your dataset text_keys: 'text' image_key: 'image' image_special_token: '<__dj__image>' export_path: './data/data-juicer/output/result.jsonl' # process schedule # a list of several process operators with their arguments process: - image_shape_filter: min_width: 1024 min_height: 1024 any_or_all: any - image_aspect_ratio_filter: min_ratio: 0.5 max_ratio: 2.0 any_or_all: any """ with open("data/data-juicer/data_juicer_config.yaml", "w") as file: file.write(data_juicer_config.strip()) !dj-process --config data/data-juicer/data_juicer_config.yaml import pandas as pd import os, json from PIL import Image from tqdm import tqdm texts, file_names = [], [] os.makedirs("./data/data-juicer/output/images", exist_ok=True) with open("./data/data-juicer/output/result.jsonl", "r") as f: for line in tqdm(f): metadata = json.loads(line) texts.append(metadata["text"]) file_names.append(metadata["image"][0]) df = pd.DataFrame({"text": texts, "file_name": file_names}) df.to_csv("./data/data-juicer/output/result.csv", index=False) df from transformers import CLIPProcessor, CLIPModel import torch model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") images = [Image.open(img_path) for img_path in df["file_name"]] inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the probabilities probs from torch.utils.data import Dataset, DataLoader class CustomDataset(Dataset): def __init__(self, df, processor): self.texts = df["text"].tolist() self.images = [Image.open(img_path) for img_path in df["file_name"]] self.processor = processor def __len__(self): return len(self.texts) def __getitem__(self, idx): inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True) return inputs dataset = CustomDataset(df, processor) dataloader = DataLoader(dataset, batch_size=8) for batch in dataloader: outputs = model(**batch) logits_per_image = outputs.logits_per_image probs = logits_per_image.softmax(dim=1) print(probs) import torch from diffusers import StableDiffusionPipeline torch.manual_seed(1) pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16) pipe = pipe.to("cuda") prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒" negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度" guidance_scale = 4 num_inference_steps = 50 image = pipe( prompt=prompt, negative_prompt=negative_prompt, guidance_scale=guidance_scale, num_inference_steps=num_inference_steps, height=1024, width=1024, ).images[0] image.save("example_image.png") image from PIL import Image torch.manual_seed(1) image = pipe( prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("1.jpg") torch.manual_seed(1) image = pipe( prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("2.jpg") torch.manual_seed(2) image = pipe( prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("3.jpg") torch.manual_seed(5) image = pipe( prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("4.jpg") torch.manual_seed(0) image = pipe( prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("5.jpg") torch.manual_seed(1) image = pipe( prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("6.jpg") torch.manual_seed(7) image = pipe( prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("7.jpg") torch.manual_seed(0) image = pipe( prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌", negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", cfg_scale=4, num_inference_steps=50, height=1024, width=1024, ) image.save("8.jpg") import numpy as np from PIL import Image images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] image = np.concatenate([ np.concatenate(images[0:2], axis=1), np.concatenate(images[2:4], axis=1), np.concatenate(images[4:6], axis=1), np.concatenate(images[6:8], axis=1), ], axis=0) image = Image.fromarray(image).resize((1024, 2048)) image 其中上面的文字，即是提示AI 生图的Prompt,用于生成符合预期的图片
2、利用AI 助手辅助学习
在通义千问中输入
你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题。{此处替换前面的代码}
这段代码主要分为以下几个部分：
1. 环境准备与依赖安装
- 使用 `!pip` 命令来安装或卸载所需的Python包，包括 `simple-aesthetics-predictor`, `data-juicer`, `peft`, `lightning`, `pandas`, `torchvision`, 和 `DiffSynth-Studio`。
2. 数据集加载与处理
- 加载名为 `AI-ModelScope/lowres_anime` 的数据集，并将其保存到指定的目录 `/mnt/workspace/kolors/data` 中。
- 将数据集中每个样本的图片和元数据（文本描述）转换为 JSON 格式，并保存到文件 `./data/data-juicer/input/metadata.jsonl` 中。
3. 数据清洗与筛选
- 定义了一个 YAML 配置文件 `data_juicer_config.yaml`，用于配置 `data-juicer` 工具如何处理数据集。
- 这个配置文件定义了数据集的路径、要处理的数据字段、图像的过滤条件（如宽度、高度、宽高比）以及输出文件的位置。
- 使用 `data-juicer` 的命令行工具 `dj-process` 来根据配置文件处理数据集。
4. 处理结果的整理
- 读取经过 `data-juicer` 处理后的结果文件 `result.jsonl`，并将数据整理成 DataFrame 结构。
- 将整理好的数据存储为 CSV 文件 `result.csv`。
5. 图像与文本相似性计算
- 利用预训练的 CLIP 模型 (`openai/clip-vit-base-patch32`) 来计算图像和文本之间的相似性得分。
- 创建了一个自定义的 PyTorch 数据集类 `CustomDataset` 来方便地处理图像和文本对，并使用 `DataLoader` 来批量加载数据进行计算。
6. 生成图像
- 使用 `StableDiffusionPipeline` 从预训练模型 `CompVis/stable-diffusion-v-1-4` 来生成一系列基于不同提示的二次元风格图像。
- 通过改变种子 (`torch.manual_seed()`) 来控制生成过程中的随机性，确保生成结果的一致性。
- 保存生成的图像，并将它们合并成一个大的图像进行展示。
总结来说，整个代码流程涵盖了数据集的加载、处理、清洗、特征提取以及利用深度学习模型生成新的图像内容。
如果有不懂的代码模块，可以继续追问甚至可以逐行解释。
3、实战演练一一基于话剧的连环画制作
所使用工具还是通义千问，
1、提示词
你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片生成，你需要输出每张图片的生图提示词 具体的场景图片 1、女主正在上课 2、开始睡着了 3、进入梦乡，梦到自己站在路旁 4、王子骑马而来 5、两人相谈甚欢 6、一起坐在马背上 7、下课了，梦醒了 8、又回到了学习生活中 生图提示词要求 1、风格为古风 2、根据场景确定是使用全身还是上半身 3、人物描述 4、场景描述 5、做啥事情 例子： 古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙此时AI返还：
第一张图片：女主正在上课 古风，工笔画，一位黑发少女，身着淡雅青衫，坐在古色古香的学堂内，专注地注视着先生讲解的竹简，上半身特写，学堂内摆放着几案和毛笔。 第二张图片：开始睡着了 古风，淡墨勾勒，同一黑发少女，头轻轻垂在桌案上，手中握着一支未落下的毛笔，半闭着眼睛，嘴角挂着一丝微笑，上半身特写，学堂内的其他学生若隐若现。 第三张图片：进入梦乡，梦到自己站在路旁 古风，细腻水彩，黑发少女身着轻纱长裙，站在一条古道边，身后是一片葱郁的竹林，四周弥漫着淡淡的雾气，全身展示，少女面带期待之色。 第四张图片：王子骑马而来 古风，浓墨重彩，一位英俊少年骑着一匹白马缓缓靠近，白马鬃毛飞扬，少年身着华丽服饰，眼神坚定，全身展示，背景为古道与远处的山峦。 第五张图片：两人相谈甚欢 古风，细致工笔，黑发少女与英俊少年并肩站立于花丛之中，两人目光交汇，表情愉悦，周围是绽放的牡丹花，上半身特写，少年手执折扇，少女手持书卷。 第六张图片：一起坐在马背上 古风，柔和线条，少女与少年同乘一匹白马，少年稳坐马鞍，少女轻倚其后，双手环绕少年腰间，全身展示，背景为一片开阔的草原。 第七张图片：下课了，梦醒了 古风，淡雅水墨，黑发少女从梦中惊醒，眼神中带着一丝迷茫，坐在学堂内，周围的学生们正收拾东西准备离开，上半身特写，桌上散落着书简。 第八张图片：又回到了学习生活中 古风，细致描绘，黑发少女回到日常的学习生活中，与其他同学一同围坐在学堂内，专心听讲，上半身特写，学堂内气氛和谐，书声琅琅。生成图片效果如下：
利用生图工具来生成，微调提示词即可。
总结：通义千问真好用。
总结
### AI生图技术发展历程及应用概述**一、AI生图的发展历程**
随着人工智能（AI）技术的不断进步，特别是AIGC（AI-Generated Content，人工智能生成内容）的迅猛发展，AI生图技术——即利用AI算法自动生成图像的技术，从理想逐步变为现实中的重要工具。
- **计算机图形学奠基**：早在20世纪中叶，随着计算机科学的兴起，人们开始尝试使用计算机生成简单图形，这一时期的积累为后续的图像生成技术奠定了坚实基础。
- **算法突破与初步尝试**：进入80年代末至90年代，遗传算法、模拟退火等优化算法的提出，使得计算机能够生成更为复杂和多样的图像，通过模拟自然进化或物理过程在图像空间中搜索最优解，为AI生图技术提供了初步的思路。
- **AIGC的崛起**：进入21世纪，深度学习尤其是卷积神经网络（CNN）和生成对抗网络（GAN）的提出，彻底改变了AI生图的格局。GAN通过生成器和判别器的对抗训练，大幅提升了图像生成的质量和多样性，为AIGC在图像领域的广泛应用提供了可能。随着技术的成熟，AI生图不再局限于简单图形，而是能够创作出富有创意和个性化的图像作品，广泛应用于艺术创作、广告设计、游戏开发和影视制作等领域。
**二、AI生图的模型与应用**
- **模型发展**：最早的AI生图可追溯至20世纪70年代，如艺术家哈罗德·科恩发明的AARON机械臂作画。现代AI生图模型大多基于深度神经网络进行训练，如吴恩达在2012年训练出的“猫脸”生成模型。此后，谷歌推出的“深梦”（Deep Dream）和OpenAI的DALL-E模型等，均展现了AI生图技术的巨大潜力。这些模型通过海量图库和文本描述的深度学习，能够生成符合语义指令的图像。
- **多领域应用**：随着AI生图技术的发展，新闻、广告、艺术创作中的图像来源已不再容易辨认。AI生图不仅提高了创意和生产的效率，还极大地拓宽了图像创作的边界，让图像创作更为个性化和多样化。
**三、AI生图模型的使用与实践**
- **模型库与开发工具**：现代AI生图模型大多集成在各类在线平台或工具中，如魔搭社区的可图模型。通过Notebook等工具，用户可以快速开发和部署AI生图应用。
- **辅助精度baseline代码**：主要包括环境准备、依赖安装、数据集处理、图像与文本相似性计算及生成图像等步骤。通过详细的代码示例，展示了如何利用深度学习模型和技术栈（如CLIP、StableDiffusionPipeline等）生成高质量图像。
- **实战演练**：通过具体项目的实战操作，如话剧连环画制作，利用AI生成的提示词创建特定场景的古风图像，展示了AI在图像创作中的灵活性和高效性。
**总结**：AI生图技术从最初的梦想变成了现实应用中不可或缺的一部分。随着技术的不断发展和完善，AI在图像生成、创意设计和内容创作中的影响力将更加深远。通过深入学习和实践，我们可以更加灵活地利用AI技术来创造独特的图像作品。 promptjson二次元aigcclipcli数据集深度学习tpukol神经网络git图像生成diffusion提示词ganopenaistablediffusionamlcsv
