https://github.com/advimman/lama/tree/7dee0e4a3cf5f73f86a820674bf471454f52b74f
prepare your data: 1) Create masks named as `[images_name]_maskXXX[image_suffix]`, put images and masks in the same folder. You can use the script for random masks generation. Check the format of the files: image1_mask001.png image1.png image2_mask001.png image2.png Specify image_suffix, e.g. .png or .jpg or _input.jpg in configs/prediction/default.yaml. https://github.com/advimman/lama/blob/main/bin/gen_mask_dataset.py
如果图像不是正方形，使用crop或者transform变换
import os import argparse from PIL import Image def crop_images(input_folder, output_folder, size): # 遍历输入文件夹中的所有文件 for filename in os.listdir(input_folder): if filename.endswith(".png"): # 构建输入和输出文件的路径 input_path = os.path.join(input_folder, filename) output_path = os.path.join(output_folder, filename) # 打开图像并裁剪为指定大小 image = Image.open(input_path) cropped_image = image.crop((0, 0, size, size)) # 保存裁剪后的图像 cropped_image.save(output_path) if __name__ == "__main__": # 创建解析器并添加参数 parser = argparse.ArgumentParser(description="Crop PNG images in a folder to 512x512 size.") parser.add_argument("input_folder", default='./infrared_only', help="Path to the input folder.") parser.add_argument("output_folder", default='./square_infrared_only', help="Path to the output folder.") parser.add_argument("--size", type=int, default=512, help="Size of the cropped images. Default is 512.") # 解析命令行参数 args = parser.parse_args() # 调用函数进行裁剪 crop_images(args.input_folder, args.output_folder, args.size) 配置文件修改
generator_kind: random mask_generator_kwargs: irregular_proba: 1 irregular_kwargs: min_times: 4 max_times: 5 max_width: 50 max_angle: 4 max_len: 100 box_proba: 0.3 box_kwargs: margin: 0 bbox_min_size: 10 bbox_max_size: 50 max_times: 5 min_times: 1 segm_proba: 0 squares_proba: 0 variants_n: 5 max_masks_per_image: 1 cropping: out_min_size: 256 handle_small_mode: upscale out_square_crop: True crop_min_overlap: 1 max_tamper_area: 0.5 解释
generator_kind: 这个参数指定了生成器的类型，这里设置为"random"，表示使用随机生成器[1]。 mask_generator_kwargs: 这个参数是一个字典，包含了生成掩码的相关参数设置。 irregular_proba: 这个参数指定了生成不规则掩码的概率，设置为1表示始终生成不规则掩码。 irregular_kwargs: 这个参数是一个字典，包含了生成不规则掩码时的具体参数设置。 min_times: 每个不规则掩码最小生成次数。 max_times: 每个不规则掩码最大生成次数。 max_width: 不规则掩码的最大宽度。 max_angle: 不规则掩码的最大角度。 max_len: 不规则掩码的最大长度。 box_proba: 这个参数指定了生成方框掩码的概率，设置为0.3表示以30%的概率生成方框掩码。 box_kwargs: 这个参数是一个字典，包含了生成方框掩码时的具体参数设置。 margin: 方框掩码的边距。 bbox_min_size: 方框掩码的最小尺寸。 bbox_max_size: 方框掩码的最大尺寸。 max_times: 每个方框掩码最大生成次数。 min_times: 每个方框掩码最小生成次数。 segm_proba: 这个参数指定了生成分割掩码的概率，设置为0表示不生成分割掩码。 squares_proba: 这个参数指定了生成方形掩码的概率，设置为0表示不生成方形掩码。 variants_n: 这个参数指定了生成器生成的变体数量，这里设置为5。 max_masks_per_image: 这个参数指定了每张图像生成的最大掩码数量，这里设置为1。 cropping: 这个参数是一个字典，包含了裁剪图像的相关参数设置。 out_min_size: 裁剪后的图像最小尺寸。 handle_small_mode: 处理小尺寸图像的模式，这里设置为"upscale"表示放大处理。 out_square_crop: 是否进行方形裁剪，这里设置为True表示进行方形裁剪。 crop_min_overlap: 裁剪时的最小重叠区域。 max_tamper_area: 这个参数指定了最大篡改区域的面积比例，这里设置为0.5。 运行配置文件
https://github.com/lorenzo-stacchio/Stable-Diffusion-Inpaint/blob/main/scripts/generate_llama_mask/README.md
python scripts/generate_llama_mask/gen_mask_dataset.py --config ./scripts/generate_llama_mask/data_gen_configs/random_medium_256.yaml --indir data/infrared/mask --outdir data/infrared/mask_gen --ext png
检查输入图像是不是8bit，不是的话需要转换。
image = Image.open(infile).convert('RGB') 变成
if not bit16: image = Image.open(infile).convert('RGB') else: #读取16位深度图（像素范围0～65535），并将其转化为8位（像素范围0～255） uint16_img = cv2.imread(infile, -1) #在cv2.imread参数中加入-1，表示不改变读取图像的类型直接读取，否则默认的读取类型为8位。 uint16_img -= uint16_img.min() uint16_img = uint16_img / (uint16_img.max() - uint16_img.min()) uint16_img *= 255 #使得越近的地方深度值越大，越远的地方深度值越小，以达到伪彩色图近蓝远红的目的。 # uint16_img = 255 - uint16_img # cv2 中的色度图有十几种，其中最常用的是 cv2.COLORMAP_JET，蓝色表示较高的深度值，红色表示较低的深度值。 # cv.convertScaleAbs() 函数中的 alpha 的大小与深度图中的有效距离有关，如果像我一样默认深度图中的所有深度值都在有效距离内，并已经手动将16位深度转化为了8位深度，则 alpha 可以设为1。 # im_color=cv2.applyColorMap(cv2.convertScaleAbs(uint16_img,alpha=1),cv2.COLORMAP_JET) uint8_img = cv2.convertScaleAbs(uint16_img,alpha=1) if len(uint8_img.shape) == 2: uint8_img_rgb = np.repeat(uint8_img[:, :, np.newaxis], 3, axis=2) elif len(uint8_img.shape) == 3: if uint8_img.shape[2] == 1: uint8_img_rgb = np.repeat(uint8_img, 3, axis=2) else: raise TypeError #convert to mat png image=Image.fromarray(uint8_img_rgb).convert('RGB') csv
image_path,mask_path,partition desk_pc_mouse2.png,desk_pc_mouse2_mask.png,train desk_pc_mouse2.png,desk_pc_mouse2_mask.png,validation python scripts\generate_llama_mask\generate_csv.py --llama_masked_outdir output_generated_folder/ --csv_out_path out_path.csv
data/infrared/mask_gen
model: type: 检测器的名称，这里是MaskRCNN [1] backbone: 主干网络的配置 type: 主干网络的类别，这里是ResNet [1] depth: 主干网络的深度，这里是50 [1] num_stages: 主干网络状态的数目，这些状态产生的特征图作为后续的head的输入 [1] out_indices: 每个状态产生的特征图输出的索引 [1] frozen_stages: 第一个状态的权重是否被冻结 [1] norm_cfg: 归一化层的配置项 [1] norm_eval: 是否冻结BN里的统计项 [1] style: 主干网络的风格 [1] init_cfg: 加载通过ImageNet预训练的模型 [1] neck: 检测器的neck配置 type: neck的类型，这里是FPN [1] in_channels: 输入通道数 [1] out_channels: 金字塔特征图每一层的输出通道 [1] num_outs: 输出的范围 [1] rpn_head: RPN head的配置 type: RPN head的类型，这里是RPNHead [1] in_channels: 每个输入特征图的输入通道 [1] feat_channels: head卷积层的特征通道 [1] anchor_generator: 锚点生成器的配置 [1] bbox_coder: 在训练和测试期间对框进行编码和解码 [1] loss_cls: 分类分支的损失函数配置 [1] loss_bbox: 回归分支的损失函数配置 [1] roi_head: RoIHead的配置 type: RoI head的类型 [1] bbox_roi_extractor: 用于bbox回归的RoI特征提取器 [1] python scripts/generate_llama_mask/generate_csv.py --llama_masked_outdir data/infrared/mask_gen/ --csv_out_path data/infrared/out_path.csv 训练
python3 main_inpainting.py --train --name custom_training --base configs/latent-diffusion/inpainting_catsv2.yaml --gpus 0,1 --seed 42 
