1. Stable Diffusion 시리즈
Stable Diffusion 모델은 img2img 워크플로우에서 가장 널리 사용되며, ControlNet과 같은 확장 도구와 결합해 강력한 성능을 제공한다.
Stable Diffusion 1.5 (SD1.5)
특징: 512x512 해상도에 최적화된 경량 모델. img2img에서 빠르고 유연하며, ControlNet, LoRA와 호환성 뛰어남.
최신 버전: v1-5-pruned-emaonly-fp16.safetensors (FP16 최적화).
용도: 스타일 변환(예: 사진을 애니메이션 스타일로), 디테일 수정, 간단한 이미지 리터칭.
설치: ComfyUI/models/checkpoints 폴더에 저장. Hugging Face 또는 Civitai에서 다운로드.
img2img 활용: Denoising Strength 0.3~0.7 권장. ControlNet(Tiled, Canny, Depth 등)과 결합 시 정밀한 결과물 생성 가능.
참고: 6GB VRAM GPU에서 원활히 동작, 초보자에게 적합.
Stable Diffusion XL (SDXL)
특징: 1024x1024 고해상도 지원. img2img에서 디테일과 텍스트 정합성이 우수.
최신 버전: sdxl_base_1.0.safetensors 또는 sdxl_turbo.safetensors (빠른 생성용).
용도: 고품질 스타일 변환, 상업적 이미지 편집, 복잡한 프롬프트 기반 수정.
설치: ComfyUI/models/checkpoints에 저장. VRAM 8GB 이상 권장.
img2img 활용: SDXL Turbo는 빠른 img2img 작업에 적합. ControlNet XL 노드와 함께 사용 시 고해상도 결과물 최적화.
참고: SD1.5보다 리소스 소모 크지만 품질 우수.
Stable Diffusion 3 (SD3)
특징: 최신 모델로, T5 텍스트 인코더를 사용해 텍스트-이미지 정합성 강화. img2img에서 세밀한 디테일 수정 가능.
최신 버전: sd3.safetensors (Hugging Face, 2024년 말 기준).
용도: 고급 아트 스타일 변환, 복잡한 이미지 편집.
설치: ComfyUI/models/diffusion_models에 저장. VRAM 12GB 이상 권장.
img2img 활용: Denoising Strength 0.4~0.8로 설정. 프롬프트 가중치 활용 시 정밀한 스타일 제어 가능.
참고: 리소스 요구량 높음.
2. Flux.1 시리즈
Flux.1은 Black Forest Labs의 최신 모델로, img2img 워크플로우에서도 뛰어난 성능을 발휘합니다. ComfyUI에서 2024년 8월부터 지원.
Flux.1 [dev]
특징: 12B 파라미터, 고품질 이미지 변환. 비상업적 용도 오픈 웨이트 모델. img2img에서 텍스트와 이미지 입력 모두 정밀하게 처리.
최신 버전: flux1-dev.safetensors (FP16) 또는 flux1-dev-fp8.safetensors (저용량 FP8).
용도: 고해상도 스타일 변환, 디테일 강화, 창의적 이미지 수정.
설치: ComfyUI/models/diffusion_models에 저장. FP8 버전은 VRAM 8GB에서도 동작. Hugging Face에서 라이선스 동의 후 다운로드.
img2img 활용: Denoising Strength 0.5~0.9. ComfyUI의 Flux img2img 워크플로우 JSON 파일 사용 권장.
참고: 텍스트 정합성과 디테일이 SDXL보다 우수.
Flux.1 [schnell]
특징: Apache 2.0 라이선스, 4단계 빠른 생성. 저사양 하드웨어에서 img2img 작업에 적합.
최신 버전: flux1-schnell.safetensors.
용도: 빠른 스타일 변환, 프로토타이핑, 저사양 PC 작업.
설치: ComfyUI/models/diffusion_models에 저장. VRAM 6GB 이상 권장.
img2img 활용: Denoising Strength 0.3~0.6으로 빠른 결과물 생성.
참고: 품질은 [dev]보다 낮지만 속도 우선 작업에 적합.
Flux.1 [pro]
특징: 최고 성능의 클로즈드 소스 모델. API 기반으로 img2img 지원.
용도: 상업적 고품질 이미지 편집, 복잡한 스타일 변환.
설치: ComfyUI의 API 노드를 통해 접근 (2025년 4월 기준 베타 지원).
img2img 활용: API 호출로 고사양 PC 없이 사용 가능.
참고: 로컬 모델보다 설정 복잡.
3. ControlNet 기반 모델
ControlNet은 img2img 워크플로우에서 입력 이미지의 구조(엣지, 깊이, 포즈 등)를 유지하며 스타일 변환을 수행하는 데 필수적입니다. ComfyUI에서 다양한 ControlNet 모델이 지원됩니다.
ControlNet for SD1.5
특징: Canny, Depth, OpenPose, Tiled 등 다양한 컨트롤 타입 지원. SD1.5와 호환.
최신 버전: control_v11p_sd15_* (예: control_v11p_sd15_canny.safetensors, 2024년 기준).
용도: 엣지 기반 스타일 변환, 깊이 유지, 포즈 재현.
설치: ComfyUI/models/controlnet에 저장. Hugging Face 또는 Civitai에서 다운로드.
img2img 활용: ControlNet 노드를 워크플로우에 추가, 컨트롤 이미지(예: Canny 엣지 맵) 입력.
참고: VRAM 6GB 이상 권장.
ControlNet for SDXL
특징: SDXL 전용 ControlNet. 고해상도 img2img 작업에 최적화.
최신 버전: controlnet_sdxl_* (예: controlnet_sdxl_canny.safetensors).
용도: 고품질 스타일 변환, 세밀한 구조 유지.
설치: ComfyUI/models/controlnet에 저장.
img2img 활용: SDXL 워크플로우와 결합, Denoising Strength 0.5~0.8.
참고: VRAM 10GB 이상 권장.
InstantID (ControlNet 기반)
특징: 얼굴 기반 img2img에 특화. 입력 이미지의 얼굴 특징을 유지하며 스타일 변환.
최신 버전: instantid_sd15.safetensors (2024년 말 기준).
용도: 캐릭터 디자인, 초상화 스타일 변환.
설치: ComfyUI/models/controlnet에 저장. IP-Adapter 노드와 함께 사용.
img2img 활용: 얼굴 참조 이미지 입력, Control Weight 0.7~1.0 권장.
참고: SD1.5와 호환.
4. 기타 img2img 특화 모델
ComfyUI는 커뮤니티 및 기업 모델을 통해 img2img 워크플로우를 확장합니다.
Hunyuan-DiT
특징: Tencent의 텍스트-이미지 모델. img2img에서 3D 자산 변환 및 고품질 스타일링 지원.
최신 버전: hunyuan-dit-v1.2.safetensors (2025년 3월 기준).
용도: 3D 스타일 변환, 리얼리스틱 이미지 편집.
설치: ComfyUI/models/diffusion_models에 저장. ComfyUI v0.0.4 이상 필요.
img2img 활용: Denoising Strength 0.5~0.8, 3D 워크플로우(Hunyuan3D-2 mv) 지원.
참고: VRAM 10GB 이상 권장.
Luma Photon
특징: LumaLabs의 이미지 변환 모델. 캐릭터/스타일 참조 기반 img2img에 강점.
최신 버전: API 노드 기반 (2024년 12월 지원 시작).
용도: 스타일 참조, 캐릭터 디자인, 이미지 리터칭.
설치: ComfyUI의 API 노드 설정.
img2img 활용: API 호출로 입력 이미지와 프롬프트 처리.
참고: 로컬 모델 없이 사용 가능.
IP-Adapter
특징: 이미지 참조 기반 스타일 변환. SD1.5, SDXL, Flux.1과 호환.
최신 버전: ip-adapter_sd15.safetensors, ip-adapter_sdxl.safetensors (2024년 기준).
용도: 참조 이미지의 스타일을 입력 이미지에 적용.
설치: ComfyUI/models/ipadapter에 저장.
img2img 활용: IP-Adapter 노드를 워크플로우에 추가, 참조 이미지 입력.
참고: ControlNet과 함께 사용 시 효과 극대화.
'@MucKoo's ComfyUI Bible @ > #ComfyUI Navigator#' 카테고리의 다른 글
Seed란 무엇인가. (0) | 2025.05.02 |
---|---|
Checkpoint의 출력은 왜 3개일까? (0) | 2025.04.26 |
디노이징(denoising)이 뭔지 쉽게 풀어줄게 (1) | 2025.04.25 |
ComfyUI 모델, 도대체 뭐 하는 놈들인가? (4) | 2025.04.24 |
“Stable Diffusion이 몸, ComfyUI는 조립 키트다” (0) | 2025.04.24 |