图像生成高级技巧：Img2Img与ControlNet全解析

### 图像生成高级技巧：Img2Img与ControlNet全解析 在图像生成领域，AUTOMATIC1111的Img2Img功能为用户提供了强大的图像编辑和创作能力。它类似于Midjourney提交图像与提示词的功能，能让用户通过上传图像为模型提供指导，从而更好地控制生成图像的风格和构图。 #### 1. Img2Img基础 AUTOMATIC1111的Web UI支持Img2Img功能。要获得较好的效果，可以尝试使用Euler采样，设置50个采样步骤，并将CFG比例设置为20到30。Img2Img的参数与普通的Text2Image模式基本相同，只是增加了去噪强度这一参数。去噪强度控制着在生成过程开始前添加到基础图像中的随机噪声量。值为0时不添加噪声，输出图像将与输入图像完全相同；值为1时，输入图像将完全被噪声取代，功能上等同于Text2Image。用户通常需要尝试不同的去噪强度、CFG比例和种子值组合，同时结合提示词中的文字。 例如，输入提示词“headshot of a man in an office, as a Pixar Disney character from Up (2009), unreal engine, octane render, 3d render, photorealistic, in the style of Pixar”，可以生成具有特定风格的图像。 如果想测试AUTOMATIC1111中某个参数的多个不同值并生成网格图像，可以在底部的脚本下拉菜单中选择“X/Y/Z Plot”，最多选择三个参数生成多个值。点击生成按钮后，会生成一个图像网格，每个单独的图像可以在输出文件夹中按照生成方法（如Text2Image或Img2Img）和日期找到。 以下是一个简单的流程说明： 1. 打开AUTOMATIC1111的Web UI。 2. 进入Img2Img模式。 3. 上传基础图像。 4. 设置提示词。 5. 调整去噪强度、CFG比例和种子值等参数。 6. 选择“X/Y/Z Plot”脚本并设置要测试的参数。 7. 点击生成按钮。 #### 2. 评估图像质量 在本地运行Stable Diffusion生成多个不同参数组合或值的图像网格是一个强大的优势。虽然生成大量图像可能需要时间，但这是直观了解参数作用和找到质量最佳点的最佳方法。 如果忘记了生成图像时使用的设置或提示词，AUTOMATIC1111会将这些信息作为元数据保存在每个生成的图像中。可以随时访问PNG Info选项卡读取这些元数据，但前提是图像发布的网站没有去除这些元数据。 Resize Mode选项用于处理上传图像与基础图像尺寸不匹配的情况，有以下几种模式： | 模式 | 说明 | | ---- | ---- | | Just Resize | 拉伸宽高比以适应 | | Crop and Resize | 裁剪图像以获得正确的宽高比 | | Resize and Fill | 添加噪声填充图像 | | Just Resize (latent upscale) | 生成新尺寸的图像 | #### 3. 图像放大 在AUTOMATIC1111的Img2Img选项卡中，还可以对图像进行放大处理，比Midjourney有更多的控制权。具体操作步骤如下： 1. 上传图像。 2. 在提示框中添加通用提示词，如“highly detailed”。 3. 向下滚动到脚本区域，选择“SD Upscale”脚本。 4. 选择一个图像放大器。 通常，R - ESRGAN 4x+放大器是一个不错的默认选择，但有时可能会使图像具有卡通风格。如果效果不佳，可以尝试其他模型。下载新的模型（.pth文件）后，将其放在ESRGAN文件夹中并重启Web界面即可使用。 也可以通过修改提示词来获得更好的放大效果，但不建议使用原始提示词，因为这可能会导致每个图块中重复绘制相同的图像。为了获得较好的放大效果，建议设置较高的步数（150 - 200+）、CFG比例为8 - 15以及去噪强度为0.1 - 0.2，以保持基础图像的完整性。点击生成按钮后，可以得到放大后的图像，还可以再次点击“Send to Img2Img”并生成以进一步放大图像。这个过程可能需要较长时间，例如在M2 MacBbook Air上大约需要10 - 30分钟。 #### 4. Interrogate CLIP功能 在Img2Img选项卡中，CLIP嵌入模型通过“Interrogate CLIP”按钮（在某些版本中显示为回形针）实现。点击该按钮并运行脚本后，系统会从图像中反向生成提示词，类似于Midjourney的Describe功能。例如，输入一张图像后，可能会输出提示词“a painting of a woman in a pirate costume on the beach with a pirate hat on her head and a pirate ship in the background, a fine art painting, Chris Rallis, fantasy art, stanley artgerm lau”。 #### 5. SD修复和扩展 Img2Img还支持图像修复（inpainting）和扩展（outpainting）功能，并提供了一个简单的画布工具来创建遮罩。 ##### 5.1 图像修复 要使用图像修复功能，点击Img2Img选项卡中的Inpaint子选项卡并上传图像。为了获得更好的效果，可选择使用特定的修复模型，如sd - v1 - 5 - inpainting.ckpt，将其下载并移动到Models > Stable - Diffusion文件夹中，重启界面后该模型会出现在左上角的下拉菜单中。 在使用图像修复时，建议使用提示词描述整个图像，而不仅仅是修复区域。确保Inpaint area设置为Whole picture，这样即使选择了整个图片，也只会在遮罩区域进行绘制。如果原始图像是AI生成的，保留种子值可能会有帮助。但根据经验，在提示词中添加或更改要修改或修复区域的具体信息往往能获得更好的结果。 例如，要在城堡庭院中添加一座雕像，可将提示词从“castle”改为“statue of a king, texture, intricate, details, highly detailed, masterpiece, architecture, building, trending on artstation, focus, sharp focus, concept art, digital painting, fantasy, sunny, day, midday, in the style of high fantasy art”。 如果是对修复区域进行小调整，可选择Original作为遮罩内容选项，并将去噪强度设置为0.2到0.4；如果要完全替换图像中的某个元素，可能需要选择Latent Noise选项，并将去噪强度设置为高达0.8，但当去噪强