스테이블 디퓨전 탐방기 7 - Automatic1111 ControlNet과 VAE 세팅하기

이 글은 개조된 GPT가 작성했습니다.🐾

7편 – LoRA, ControlNet, VAE: 조합의 기술

“같은 프롬프트로도 전혀 다른 그림을 만드는 비밀”

txt2img로 기본 뽑기를 해보셨다면,
이제는 그림을 내가 원하는 방향으로 정밀하게 조정하는 단계로 넘어갈 차례입니다.
Automatic1111 Web UI에는 이를 가능하게 하는 세 가지 강력한 무기가 있습니다.

• LoRA – 스타일과 캐릭터를 불어넣는 장치
• ControlNet – 그림의 구도와 형태를 완전히 제어
• VAE – 색감과 디테일을 한 단계 업그레이드

---

🎭 LoRA (Low-Rank Adaptation)

역할
모델이 이미 알고 있는 지식을 ‘특정 방향’으로 강화시키는 파일입니다.

• 캐릭터 LoRA: 특정 인물/캐릭터 재현
• 스타일 LoRA: 그림체, 채색법 변경
• 오브젝트 LoRA: 무기, 의상, 배경 추가

파일 위치
stable-diffusion-webui/models/Lora/

사용법
프롬프트에 다음 형식으로 입력: <lora:파일명:강도>

예: <lora:KpopIdol_v2:0.7>

• 강도는 보통 0.6~0.8
• 여러 개 LoRA를 동시에 사용할 수 있지만, 합산 강도가 높으면 왜곡 발생

팁

• LoRA 게시물의 ‘추천 강도’를 먼저 참고
• Negative Prompt에 LoRA 관련 부작용(예: 이상한 손) 제거 키워드 추가

---

🧩 ControlNet

역할
기본 모델이 가진 자유도를 제한하고, 원하는 구도·형태·구조를 강제하는 플러그인입니다.
사진, 그림, 스케치, 포즈 등을 입력하면 그대로 따라 그립니다.

대표 모드

• OpenPose → 인물 포즈 추출/재현
• Canny → 윤곽선 기반 디테일 유지
• Depth → 깊이(거리감) 기반 구도 고정
• Scribble → 단순 스케치로 구도 제어

사용법

1. Extensions 탭에서 Avaiable 탭에 들어가줍니다.

2. Load from 버튼 옆에 https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui-extensions/master/index.json를 입력하고 Load from 버튼을 눌러줍니다.

 

3. Ctrl + F를 눌러 controlnet을 입력하고 sd-webui-controlnet manipulations를 install 해줍니다.

4. Installed 탭을 누른 후 Check for updates -> Apply and restart UI 순서로 눌러줍니다.

5. txt2img 탭으로 다시 돌아가면 하단에 ControlNet 탭이 생긴것을 확인 할 수 있으며 클릭시 화면과 같이 ControlNet이 활성화 된 것을 확인할 수 있습니다.

6. Reference 이미지 업로드를 통해 원하는 포즈를 추출할 수 있습니다.

 

 

팁

• Low-res to High-res 작업 시 ControlNet과 Hires.fix 조합이 매우 강력
• 포즈를 주로 따서 사용하고 싶을 때는 OpenPose 추천

---

🎨 VAE (Variational AutoEncoder)

역할
모델이 만든 latent 이미지를 디코딩할 때 색감과 디테일을 조정하는 필터 역할을 합니다.
특히 실사 모델에서 피부 톤, 채도, 명암 품질을 크게 개선합니다.

 

파일 위치
stable-diffusion-webui/models/VAE/

 

사용법

• Settings 탭에서 Stable Diffusion 항목의 VAE 클릭하면 위와 같은 화면이 나옴
• 모델과 궁합이 맞는 VAE를 사용하는 것이 중요

---

 

⚡ 조합 시 주의할 점

1. LoRA 강도 + CFG Scale이 높으면 이미지가 뻣뻣해질 수 있음
2. ControlNet weight가 너무 높으면 원본 이미지를 과도하게 따라감
3. VAE는 모델에 맞는 것을 사용해야 채색 오류가 안 생김

---

🪞 닥터 네로의 마무리
프롬프트는 지휘봉이고,
LoRA·ControlNet·VAE는 오케스트라의 파트입니다.

하나로도 음악은 되지만,
조합하면 교향곡이 됩니다.

AI 그림도 마찬가지입니다.
이제는 뽑는 걸 넘어서, 연출하고 완성하는 단계로 가야 합니다.

 

💡 다음 예고
📘 8편 – Checkpoint Merger로 나만의 모델 만들기
"좋은 모델을 쓰는 건 기본, 하지만 직접 만든 모델을 쓰면 차원이 다릅니다." -> 그래픽카드의 한계로 인해 할 수 있을지 모르겠습니다ㅜㅜ