모델 파이프라인

1. 모델 파이프라인

전사에서 지원한 Haegin AI Bridge의 모델 파이프라인은 사내 AI 기능에 필요한 이미지 생성·분석·학습 모델을 실험하고, 검증된 모델을 스토리지에 배포하여 RunPod 기반 추론 환경과 ComfyUI 워크플로우에 연결해 서비스 형태로 제공하기 위한 구조입니다.

단순히 모델을 호출하는 것이 아니라, 데이터 준비 → 모델 학습 및 튜닝 → 추론 서버 구성 → 워크플로 API 연동 → 품질 검수 및 최적화까지 이어지는 전체 과정을 하나의 파이프라인으로 관리합니다.

1.1. 핵심 구성

구성 요소	설명
데이터 준비	이미지, 텍스트, 기획 자료를 학습·추론에 사용할 수 있도록 정리하고 캡션·메타데이터를 보강
모델 학습 및 튜닝	LoRA 기반 경량 학습, DiT 계열 이미지 생성 모델 실험, VLM 기반 이미지 분석 모델 활용
Transformer 기반 모델 구조	이미지 생성에는 Diffusion Transformer 계열 구조를 활용하고, 이미지 이해에는 Vision Transformer 기반 VLM 구조를 사용
RunPod 추론 인프라	GPU 서버리스 환경에서 ComfyUI, vLLM, 임베딩 API 등을 실행하여 모델 추론을 서비스와 분리
ComfyUI 워크플로 연동	이미지 생성·편집 워크플로를 API 형태로 연결하여 프론트엔드나 내부 도구에서 호출 가능하게 구성
운영 및 최적화	생성 속도, 비용, VRAM 사용량, 품질을 기준으로 모델 설정과 워크플로를 지속적으로 개선

1.2. 모델 구조

이미지 생성 파이프라인은 기존 U-Net 기반 Diffusion 모델뿐 아니라, Transformer 구조를 사용하는 Diffusion Transformer(DiT) 계열 모델을 중심으로 실험했습니다.

DiT 구조는 이미지를 패치 또는 latent 단위로 분할한 뒤, Transformer 블록의 self-attention을 통해 전체 이미지 영역 간 관계를 학습하는 방식입니다. 이를 통해 캐릭터, 배경, UI 요소처럼 구조적 일관성이 중요한 게임 에셋 생성에 활용할 수 있습니다.

이미지 분석 및 자동 태깅에는 Vision Transformer 기반 VLM을 사용했습니다. VLM은 이미지 인코더가 시각 정보를 토큰화하고, 언어 모델이 이를 텍스트 설명·태그·분류 결과로 변환하는 구조입니다. 이를 통해 데이터셋 구축 과정에서 이미지 내용 분석, 캡션 보강, 스타일 태그 정리 등을 자동화할 수 있습니다.

특정 스타일이나 캐릭터, UI 톤을 반영해야 하는 경우에는 전체 모델을 재학습하지 않고 LoRA 기반 경량 학습을 적용했습니다. LoRA는 Transformer 내부의 attention 또는 projection layer 일부에 저랭크 어댑터를 추가해, 적은 비용으로 특정 도메인 스타일을 반영할 수 있는 방식입니다.

1.3. RunPod 기반 추론 구조

RunPod는 모델 학습 및 추론을 위한 GPU 실행 환경으로 사용했습니다. 서비스 서버와 모델 서버를 분리해, 무거운 GPU 작업은 RunPod에서 처리하고 웹 서비스는 API 호출 결과만 받아 사용하는 구조입니다.

이 구조를 통해 모델 변경이나 LoRA 추가가 필요할 때 서비스 전체를 수정하지 않고, RunPod의 모델 볼륨과 워크플로 설정만 교체해 실험할 수 있도록 구성했습니다.

1.4. 처리 흐름

이미지·텍스트 데이터 수집
        ↓
캡션·태그·메타데이터 정제
        ↓
VLM 기반 이미지 분석 및 데이터 보강
        ↓
LoRA / DiT 계열 모델 학습 및 튜닝
        ↓
체크포인트·LoRA·워크플로 관리
        ↓
RunPod GPU 추론 환경 구성
        ↓
ComfyUI 워크플로 API 연동
        ↓
서비스 호출 및 결과 반환
        ↓
품질 검수 후 프롬프트·모델·워크플로 개선

1.5. 주요 작업

• 게임 아트 스타일에 맞는 이미지 데이터셋 구축
• VLM을 활용한 이미지 자동 분석, 캡션 보강, 태그 정리
• DiT 계열 이미지 생성 모델 실험 및 설정 튜닝
• LoRA 기반 경량 학습으로 특정 캐릭터·스타일·UI 톤 반영
• ComfyUI 워크플로를 RunPod 추론 환경에 배포
• RunPod Serverless Endpoint를 통해 이미지 생성·편집 API 구성
• 모델 체크포인트, LoRA, 워크플로 버전 관리
• 생성 속도, 비용, VRAM 사용량을 고려한 추론 최적화
• 결과물 품질 검수 후 프롬프트와 워크플로 개선

1.6. 기대 효과

이 파이프라인을 통해 사내에서 필요한 이미지 생성·편집·분석 모델을 빠르게 실험하고, 검증된 모델을 실제 서비스에 안정적으로 연결할 수 있습니다.

또한 RunPod 기반 추론 인프라를 사용해 서비스 서버와 GPU 작업을 분리함으로써, 모델 교체나 LoRA 추가, ComfyUI 워크플로 변경이 발생해도 기존 서비스 구조를 크게 수정하지 않고 확장할 수 있습니다.