이미지의 반복생성 (img2img)
이미지를 기반으로 이미지 생성
img2img는 기존에 생성한 혹은 가지고 있던 이미지를 토대로 새로운 이미지를 생성하는 것을 말합니다. 상단의 탭에서 img2img를 선택합니다.
다른 옵션들은 이전 글에서 이미 설명하였고, Denoising strength에 관해서만 언급하겠습니다. 0에 가까울수록 참조한 원본 이미지에 가깝게 그림이 생성되고, 1에 가까울수록 이미지보다 입력한 프롬프트의 영향을 받습니다. CFG Scale은 값이 클수록 프롬프트에 충실한 이미지를 생성하고, 값이 낮을수록 랜덤한 이미지를 생성합니다.
사용하고 싶은 기존의 이미지를 가져온 후, 원하는 프롬프트를 추가하여 그림을 생성합니다. img2img는 txt2img (프롬프트 기반의 이미지 생성)에서 이미지만 추가한 것이기 때문에 기능적인 차이는 없습니다.
 TXT2IMG에서 생성한 이미지 |  동일한 프롬프트로, IMG2IMG에서 생성 |
Inpaint 수정 방법
생성된 그림에서 마음에 들지 않는 부분이 있다면 Inpaint 기능으로 수정할 수 있습니다. 옷 색깔을 바꿔 보겠습니다. 그림 하단의 Copy image to inpaint를 클릭하여 이미지를 inpaint 탭으로 복사하거나, 직접 선택합니다. 그림 상단의 Inpaint 탭을 클릭하면, 그림 내부의 마우스 포인트가 브러쉬 모양으로 바뀝니다. 옷을 칠하겠습니다.
그림 하단을 보시면 여러 옵션을 확인할 수 있습니다.
- Mask blur가 낮으면 주변 배경과 대조가 뚜렷하게 나타나고, 높으면 대조 효과가 크지 않게 이미지가 생성됩니다.
- Inpaint masked는 페인트칠한 부분, 즉 마스킹 한 부분만 바꾸는 옵션입니다.
- Inpaint not masked는 마스킹 한 부분을 제외한 나머지를 바꾸는 옵션입니다.
다음으로 Masked content 옵션을 볼 수 있습니다.
- Fill: 주변 배경과 유사한 색상으로 마스킹한 공간을 채웁니다.
- Original: 원본과 유사한 색상으로 채웁니다.
- Latent noise: 마스킹한 부분이 랜덤한 색상으로 채워집니다.
- Latent nothing: 마스킹한 부분에 별도의 처리를 하지 않습니다.
마스킹 및 옵션 선택이 완료되었으면, 이미지를 생성합니다.
 Fill |  Original |
 Latent noise |  Latent nothing |
업스케일링
업스케일링 방법 3가지를 설명하겠습니다. 개인적으로는 기본 크기로 이미지를 생성하고, 마음에 드는 이미지를 Extras 탭에서 업스케일링 하는 3번째 방법을 추천합니다.
첫 번째로 Txt-2-Img에서 최초 이미지를 생성할 때, 업스케일링 하는 방법이 있습니다. 그림 생성 전에, Hires. fix를 클릭하고 Upscale 배율을 선택합니다. (기본은 512 x 512에 1배입니다.)
두 번째로 img2img에서 최하단의 Script에서 SD upscale 항목을 선택하면, 추가로 조정할 수 있는 옵션이 나타납니다. Scale Factor를 통해 Upscale 배율을 선택합니다. Upscaler는 실사 이미지는 ESRGAN_4X 또는 R-ESRGAN 4X를 많이 사용하고, 애니 이미지는 R-ESRGAN 4x+ Anime6B를 사용하면 됩니다.
마지막으로 상단의 Extras 항목에서 업스케일링을 할 수 있습니다. Scale by (배율로 조정) 또는 Scale to (Width와 Height를 직접 입력)를 사용하여 업스케일링을 합니다. Upscaler 1은 두 번째 방법과 동일하게 설정합니다. 실사 이미지는 ESRGAN_4X 또는 R-ESRGAN 4X를 많이 사용합니다. 애니 이미지는 R-ESRGAN 4x+ Anime6B를 사용하면 됩니다. Upscaler 2는 사용하지 않아도 됩니다.
정리
스테이블 디퓨전(로컬/코랩)과 모델의 설치, 기본적인 사용법, UI 소개, img2img 및 업스케일링까지 설명하였습니다. 다음은 프롬프트 작성 방법과 표현에 관해 정리하여 글을 올릴 생각입니다.
- 스테이블 디퓨전 0: 스테이블 디퓨전(Stable Diffusion)의 코랩 설치 방법
- 스테이블 디퓨전 1: 스테이블 디퓨전(Stable Diffusion)의 설치 방법 (로컬)
- 스테이블 디퓨전 2: 모델 설치 방법
- 스테이블 디퓨전 3: 기본적인 사용 방법
- 스테이블 디퓨전 4: UI(유저 인터페이스) 가이드