ComfyUI 모델, 도대체 뭐 하는 놈들인가?

모델은 다 이유가 있어서 만들어진다.

업스케일링? 인페인팅? 얼굴복원? 스타일변환?

 

1. 그림 그리는 놈들 (텍스트 → 이미지 생성용)
“프롬프트만 던져줘. 그림 내가 그릴게.”
대표 모델: sd-v1.5, SDXL, DreamShaper, Anything
역할: 네가 “벚꽃 핀 한강에 앉은 고양이”라고 하면 그걸 이미지로 뽑아주는 메인 화가야.
노드: Load Checkpoint, KSampler

https://designmoney.tistory.com/63

comfyUI, 텍스트 → 이미지 생성용 모델 리스트(2025.4월)

 

2. 기존 이미지 리터치하는 놈들 (이미지 → 이미지)
“이 사진 느낌은 좋은데, 스타일 좀 바꿔줄까?”
대표 모델: img2img, inpainting, depth2img
역할: 대충 그린 밑그림이나 뭉개진 사진을 멋지게 갈아엎는 리터치 장인
노드: Image2Image, Inpaint, ControlNet과 찰떡

https://designmoney.tistory.com/73

ComfyUI, 이미지 → 이미지 생성용 모델 리스트(2025.4월)

 

 

3. 확대 전문 (업스케일러)
“형, 이거 너무 작아. 포스터 사이즈로 키워줘.”
대표 모델: RealESRGAN, 4x-UltraSharp, SwinIR
역할: 이미지 사이즈는 키우되, 디테일 안 무너지게 늘려주는 확대 전문가
노드: Image Upscaler

4. 얼굴 복원 장인
“이 사람 누구야...? 흐려서 모르겠어!”

“기다려. 내가 디테일 살려줄게.”
대표 모델: GFPGAN, CodeFormer
역할: 흐릿한 얼굴을 선명하게 복원하는 프로 포토샵러
노드: Face Restore, GFPGAN

5.  ControlNet: 똑똑한 보조 비서
“형, 포즈 이대로. 디테일은 네가 해.”
 대표 모델: control_sd15_openpose, depth, canny, scribble
 역할: 포즈, 윤곽, 깊이 등 힌트만 주면 그걸 바탕으로 그림 컨트롤하는 AI 비서
노드: ControlNet, Preprocessor

6. LoRA: 스타일 입히는 코디네이터
“이 그림, 미야자키 느낌 좀 내줘.”
“오케이. 지브리 스타일 입혀줄게.”
대표 모델: lora_ghibli, lora_cyberpunk, lora_90s
역할: 기존 그림 스타일을 바꿔주는 스타일리스트
노드: LoRA Loader, Apply LoRA

7.  VAE: 색감과 디테일 정리해주는 조율사
“형, 그림은 다 됐는데 색이 밋밋해...”
“VAE 돌리고 와. 끝내줄게.”
 대표 모델: vae-ft-mse, vae-anime
역할: latent에서 이미지 복원할 때 색감과 디테일 조율하는 마무리 장인
노드: VAE Decoder, VAE Encode

8. CLIP: 말귀 알아듣는 해석가
“프롬프트를 이해해야지 그림을 그릴 거 아니야?”
대표 모델: clip-vit-large-patch14
역할: 텍스트를 숫자로 바꿔서 모델이 이해하게 만드는 통역사
노드: CLIP Text Encode, Prompt Conditioning

 

모델을 만나면 이렇게 스스로 물어봐:

“너 대체 어디에 쓰려고 만든 모델이야?”
“너는 뭘 입력으로 받아야하고, 뭘 뱉어내?”
“너 쓸만한 놈이냐, 쓸데없는 허세냐?”

모델마다 전문 분야가 있어. 어떤 그림을 뽑고 싶은지 먼저 생각하고,그 일에 맞는 일꾼을 데려다 써라.
그게 ComfyUI의 핵심이다.