본문 바로가기
@MucKoo's ComfyUI Bible @/#ComfyUI Navigator#

ComfyUI, 이미지 → 이미지 생성용 모델 리스트(2025.4월)

by MucKOO 2025. 4. 26.
반응형

1. Stable Diffusion 시리즈
Stable Diffusion 모델은 img2img 워크플로우에서 가장 널리 사용되며, ControlNet과 같은 확장 도구와 결합해 강력한 성능을 제공한다.

Stable Diffusion 1.5 (SD1.5)  
특징: 512x512 해상도에 최적화된 경량 모델. img2img에서 빠르고 유연하며, ControlNet, LoRA와 호환성 뛰어남.
최신 버전: v1-5-pruned-emaonly-fp16.safetensors (FP16 최적화).
용도: 스타일 변환(예: 사진을 애니메이션 스타일로), 디테일 수정, 간단한 이미지 리터칭.
설치: ComfyUI/models/checkpoints 폴더에 저장. Hugging Face 또는 Civitai에서 다운로드.
img2img 활용: Denoising Strength 0.3~0.7 권장. ControlNet(Tiled, Canny, Depth 등)과 결합 시 정밀한 결과물 생성 가능.
참고: 6GB VRAM GPU에서 원활히 동작, 초보자에게 적합.

Stable Diffusion XL (SDXL) 
특징: 1024x1024 고해상도 지원. img2img에서 디테일과 텍스트 정합성이 우수.
최신 버전: sdxl_base_1.0.safetensors 또는 sdxl_turbo.safetensors (빠른 생성용).
용도: 고품질 스타일 변환, 상업적 이미지 편집, 복잡한 프롬프트 기반 수정.
설치: ComfyUI/models/checkpoints에 저장. VRAM 8GB 이상 권장.
img2img 활용: SDXL Turbo는 빠른 img2img 작업에 적합. ControlNet XL 노드와 함께 사용 시 고해상도 결과물 최적화.
참고: SD1.5보다 리소스 소모 크지만 품질 우수.

Stable Diffusion 3 (SD3) 
특징: 최신 모델로, T5 텍스트 인코더를 사용해 텍스트-이미지 정합성 강화. img2img에서 세밀한 디테일 수정 가능.
최신 버전: sd3.safetensors (Hugging Face, 2024년 말 기준).
용도: 고급 아트 스타일 변환, 복잡한 이미지 편집.
설치: ComfyUI/models/diffusion_models에 저장. VRAM 12GB 이상 권장.
img2img 활용: Denoising Strength 0.4~0.8로 설정. 프롬프트 가중치 활용 시 정밀한 스타일 제어 가능.
참고: 리소스 요구량 높음.


2. Flux.1 시리즈
Flux.1은 Black Forest Labs의 최신 모델로, img2img 워크플로우에서도 뛰어난 성능을 발휘합니다. ComfyUI에서 2024년 8월부터 지원.

Flux.1 [dev] 
특징: 12B 파라미터, 고품질 이미지 변환. 비상업적 용도 오픈 웨이트 모델. img2img에서 텍스트와 이미지 입력 모두 정밀하게 처리.
최신 버전: flux1-dev.safetensors (FP16) 또는 flux1-dev-fp8.safetensors (저용량 FP8).
용도: 고해상도 스타일 변환, 디테일 강화, 창의적 이미지 수정.
설치: ComfyUI/models/diffusion_models에 저장. FP8 버전은 VRAM 8GB에서도 동작. Hugging Face에서 라이선스 동의 후 다운로드.
img2img 활용: Denoising Strength 0.5~0.9. ComfyUI의 Flux img2img 워크플로우 JSON 파일 사용 권장.
참고: 텍스트 정합성과 디테일이 SDXL보다 우수.

Flux.1 [schnell] 
특징: Apache 2.0 라이선스, 4단계 빠른 생성. 저사양 하드웨어에서 img2img 작업에 적합.
최신 버전: flux1-schnell.safetensors.
용도: 빠른 스타일 변환, 프로토타이핑, 저사양 PC 작업.
설치: ComfyUI/models/diffusion_models에 저장. VRAM 6GB 이상 권장.
img2img 활용: Denoising Strength 0.3~0.6으로 빠른 결과물 생성.
참고: 품질은 [dev]보다 낮지만 속도 우선 작업에 적합.

Flux.1 [pro] 
특징: 최고 성능의 클로즈드 소스 모델. API 기반으로 img2img 지원.
용도: 상업적 고품질 이미지 편집, 복잡한 스타일 변환.
설치: ComfyUI의 API 노드를 통해 접근 (2025년 4월 기준 베타 지원).
img2img 활용: API 호출로 고사양 PC 없이 사용 가능.
참고: 로컬 모델보다 설정 복잡.

 

3. ControlNet 기반 모델
ControlNet은 img2img 워크플로우에서 입력 이미지의 구조(엣지, 깊이, 포즈 등)를 유지하며 스타일 변환을 수행하는 데 필수적입니다. ComfyUI에서 다양한 ControlNet 모델이 지원됩니다.

ControlNet for SD1.5  
특징: Canny, Depth, OpenPose, Tiled 등 다양한 컨트롤 타입 지원. SD1.5와 호환.
최신 버전: control_v11p_sd15_* (예: control_v11p_sd15_canny.safetensors, 2024년 기준).
용도: 엣지 기반 스타일 변환, 깊이 유지, 포즈 재현.
설치: ComfyUI/models/controlnet에 저장. Hugging Face 또는 Civitai에서 다운로드.
img2img 활용: ControlNet 노드를 워크플로우에 추가, 컨트롤 이미지(예: Canny 엣지 맵) 입력.
참고: VRAM 6GB 이상 권장.

ControlNet for SDXL  
특징: SDXL 전용 ControlNet. 고해상도 img2img 작업에 최적화.
최신 버전: controlnet_sdxl_* (예: controlnet_sdxl_canny.safetensors).
용도: 고품질 스타일 변환, 세밀한 구조 유지.
설치: ComfyUI/models/controlnet에 저장.
img2img 활용: SDXL 워크플로우와 결합, Denoising Strength 0.5~0.8.
참고: VRAM 10GB 이상 권장.



InstantID (ControlNet 기반)  
특징: 얼굴 기반 img2img에 특화. 입력 이미지의 얼굴 특징을 유지하며 스타일 변환.
최신 버전: instantid_sd15.safetensors (2024년 말 기준).
용도: 캐릭터 디자인, 초상화 스타일 변환.
설치: ComfyUI/models/controlnet에 저장. IP-Adapter 노드와 함께 사용.
img2img 활용: 얼굴 참조 이미지 입력, Control Weight 0.7~1.0 권장.
참고: SD1.5와 호환.



4. 기타 img2img 특화 모델
ComfyUI는 커뮤니티 및 기업 모델을 통해 img2img 워크플로우를 확장합니다.

 Hunyuan-DiT 
특징: Tencent의 텍스트-이미지 모델. img2img에서 3D 자산 변환 및 고품질 스타일링 지원.
최신 버전: hunyuan-dit-v1.2.safetensors (2025년 3월 기준).
용도: 3D 스타일 변환, 리얼리스틱 이미지 편집.
설치: ComfyUI/models/diffusion_models에 저장. ComfyUI v0.0.4 이상 필요.
img2img 활용: Denoising Strength 0.5~0.8, 3D 워크플로우(Hunyuan3D-2 mv) 지원.
참고: VRAM 10GB 이상 권장.


 Luma Photon 
특징: LumaLabs의 이미지 변환 모델. 캐릭터/스타일 참조 기반 img2img에 강점.
최신 버전: API 노드 기반 (2024년 12월 지원 시작).
용도: 스타일 참조, 캐릭터 디자인, 이미지 리터칭.
설치: ComfyUI의 API 노드 설정.
img2img 활용: API 호출로 입력 이미지와 프롬프트 처리.
참고: 로컬 모델 없이 사용 가능.


  IP-Adapter  
특징: 이미지 참조 기반 스타일 변환. SD1.5, SDXL, Flux.1과 호환.
최신 버전: ip-adapter_sd15.safetensors, ip-adapter_sdxl.safetensors (2024년 기준).
용도: 참조 이미지의 스타일을 입력 이미지에 적용.
설치: ComfyUI/models/ipadapter에 저장.
img2img 활용: IP-Adapter 노드를 워크플로우에 추가, 참조 이미지 입력.
참고: ControlNet과 함께 사용 시 효과 극대화.

 

반응형