Overview

• 본 프로젝트에서는 게임 에셋에 적합한 스타일을 안정적으로 생성하기 위해 Adapter 기반 경량 학습과 VLM 기반 이미지 분석을 활용한 이미지 생성 파이프라인을 설계하였습니다.

주요 성과

• 이미지 생성 속도 50% 개선
• 스타일 일관성 75% 향상

프로젝트 배경

Text-to-Image 모델은 빠른 시안 제작과 이미지 자동화에 유용하지만, AssetFlow와 같이 이미지 에셋 생성 및 편집을 다루는 서비스에서는 단순 생성 능력보다 일관된 아트 스타일 유지가 중요합니다.

대부분의 오픈소스 이미지 생성 모델은 다양한 데이터셋을 기반으로 학습되어 범용적인 표현 능력은 뛰어나지만, 특정 서비스가 요구하는 색감, 캐릭터 비율, 배경 분위기, UI 톤앤매너를 안정적으로 유지하기는 어렵습니다.

특히 AssetFlow에서는 리얼리티 기반 이미지보다 게임 에셋에 적합한 스타일이 필요하기 때문에, 베이스 모델과 프롬프트만으로 원하는 결과를 지속적으로 재현하는 데 한계가 있었습니다.

이를 해결하기 위해 AssetFlow에서는 Adapter 기반 경량 학습을 활용하여 서비스 목적에 맞는 스타일 특화 이미지 생성 파이프라인을 설계하였습니다.

System Architecture

본 프로젝트는 AssetFlow의 기획, 디자인, 시스템 개발, 모델 최적화, 배포까지 전 과정을 단독으로 설계하고 구현한 프로젝트입니다.

시스템은 크게 데이터셋 구축, Adapter 기반 모델 학습, 배포 환경 최적화로 구성됩니다.

• 데이터셋 구축: SOTA 이미지 생성 모델을 활용해 게임 에셋 스타일의 캐릭터, 배경, UI 데이터를 수집하고, VLM 기반 분석을 통해 캡션과 프롬프트를 정제하였습니다.
• 모델 학습: Low-Rank Adapter 기반 경량 학습을 적용하여 AssetFlow에 필요한 게임 에셋 스타일을 베이스 모델에 반영하였습니다.
• 배포 최적화: RTX 6000 PRO Blackwell 환경에 맞춰 NVFP4 양자화와 Distilled 모델을 활용해 추론 속도와 VRAM 사용량을 최적화하였습니다.

1. 모델 구성

본 모델은 ERNIE-Image를 기반으로 한 Latent Diffusion 구조의 Text-to-Image 모델입니다.

• Base Model: ERNIE-Image
• Backbone: 8B 규모의 Diffusion Transformer
• Text Encoder: Ministral 3B
• VAE: AutoencoderKLFlux2

파이프라인

2. 1단계 -- 데이터셋 구축

AssetFlow 프로젝트에서 이미지 생성형 AI를 활용한 게임 에셋 제작 파이프라인을 구축하기 위해, 고품질 이미지 데이터셋 확보와 품질 관리 구조를 함께 설계했습니다.

데이터셋 구축 — SOTA 이미지 생성 모델 · 오픈소스 모델 -> VLM 품질 판독:

초기 데이터셋은 SOTA급 이미지 생성 모델인 GPT Image 2.0을 중심으로 구축했습니다. 단순히 이미지를 대량 생성하는 것이 아니라, 실제 게임 에셋으로 활용 가능한 캐릭터, 아이콘, UI 요소, 배경 오브젝트 등을 생성할 수 있도록 프롬프트와 스타일 기준을 함께 정리했습니다.

추가로 게임 에셋 스타일에 적합한 오픈소스 이미지 생성 모델인 Z-Image 계열 모델과 SDXL 형식의 데이터셋 구조도 함께 참고했습니다. 이를 통해 특정 모델에만 의존하지 않고, 다양한 이미지 생성 모델과 학습 포맷에 대응할 수 있는 데이터 기반을 마련했습니다.

저성능 모델에서 생성된 이미지의 경우 손 형태 왜곡, 어색한 신체 구조, 비정상적인 오브젝트, 텍스트 깨짐과 같은 문제가 발생할 수 있었습니다. 이를 보완하기 위해 VLM 기반 이미지 판독기를 활용하여 생성 결과물을 자동 검수하고, 품질 기준에 미달하는 이미지는 폐기하거나 GPT Image 2.0 기반 이미지 편집을 통해 보정했습니다.

이 과정을 통해 단순 생성 이미지가 아닌, AssetFlow에서 실제 게임 에셋 제작과 이미지 생성 모델 학습에 활용 가능한 고품질 데이터셋을 구축했습니다.

총 획득한 데이터셋은 Low Rank Adapter인걸 감안해서 200장의 이미지 데이터셋을 얻었으며 (원본 모델이 크게 훼손 되지 않아야 하므로 학습 세팅 또 한 작게 하였습니다.)

3. 2단계 — 모델 학습

AssetFlow의 이미지 생성 품질을 특정 게임 에셋 스타일에 맞게 개선하기 위해, 구축한 데이터셋을 기반으로 LoRA 학습을 진행했습니다. 학습 환경은 개인 PC 기반이었으며, RTX 5090 32GB VRAM과 64GB RAM을 활용하여 제한된 로컬 환경에서도 안정적으로 학습이 가능하도록 설정값을 조정했습니다.

3.1. 학습 인프라

• GPU: RTX 5090 32GB VRAM
• RAM: 64GB
• Architecture: Blackwell

3.2. 학습 설정

모델 학습은 스타일 반영 강도와 로컬 학습 환경의 안정성을 고려하여 다음과 같이 설정했습니다.

1. LoRA Rank = 64 베이스 모델의 표현력을 충분히 활용하면서도, 기존보다 강한 스타일 반영이 가능하도록 Rank 값을 64로 설정했습니다. 일반적인 저랭크 설정보다 높은 값을 사용하여 더 강하게 학습하기 위해 세팅했습니다.

2. Transformer / Text Encoder Precision = Float8 Transformer와 Text Encoder는 Float8 형식으로 설정하여 메모리 사용량을 줄이고, 제한된 VRAM 환경에서도 학습이 가능하도록 구성했습니다. 이를 통해 개인 PC 환경에서도 비교적 큰 모델을 안정적으로 다룰 수 있도록 했습니다.

3. Optimizer = AdamW8Bit 학습 환경이 로컬 PC 기반이었기 때문에, 일반 AdamW 대신 AdamW8Bit 옵티마이저를 사용했습니다. 이를 통해 옵티마이저 상태값의 메모리 사용량을 줄이고, VRAM 제약이 있는 환경에서도 학습을 안정적으로 진행할 수 있도록 했습니다.

4. Loss Type = Mean Squared Error, MSE 손실 함수는 평균 제곱 오차인 MSE를 사용했습니다. 현재 데이터셋의 구성과 이미지 생성 모델 학습 특성을 고려했을 때, 급격한 변화보다는 안정적으로 스타일을 수렴시키는 것이 중요했기 때문에 MSE 기반 학습을 선택했습니다.

5. Learning Rate = 8e-5, 0.00008 Learning Rate는 8e-5로 설정했습니다. LoRA 기반 학습이라는 점과 장시간 학습을 진행한다는 점을 고려하여, 너무 큰 변화가 발생하지 않도록 비교적 안정적인 수치로 조정했습니다.

6. Training Steps = 20,000 일반적인 LoRA 학습에서 자주 사용되는 2,000~4,000 Step보다 긴 20,000 Step으로 학습을 진행했습니다. 낮은 Learning Rate와 높은 Rank 설정을 함께 사용했기 때문에, 충분한 반복 학습을 통해 스타일과 도메인 특성이 점진적으로 반영되도록 설계했습니다.

7. Batch Size = 1 VRAM 사용량을 고려하여 Batch Size는 1로 설정했습니다. 대형 이미지 생성 모델과 Text Encoder를 함께 사용하는 환경이었기 때문에, 안정적인 학습 진행을 우선하여 작은 배치 크기를 사용했습니다.

8. EMA = Exponential Moving Average 학습 과정에서 모델 가중치의 지수 이동 평균을 별도로 유지하는 방식입니다. 20,000 Step처럼 장시간 학습을 진행할 경우, 학습 진행 시 초반 스탭의 폭이 너무 커져서 EMA를 적용했습니다.

4. 학습 결과

학습 결과, 전체적으로 Loss가 안정적으로 하락하며 올바르게 수렴하는 흐름을 확인했습니다. 초반 구간에서는 Loss 값이 비교적 높게 형성되었으나, 학습이 진행될수록 점진적으로 감소하였고 최종적으로는 안정적인 손실률 하락 추세를 보였습니다.

4.1. Loss 변화 추정

구간	평균 Loss 추정
전체 0 ~ 19,996 steps	약 0.69 ~ 0.70
초반 0 ~ 5k steps	약 0.82 ~ 0.84
중반 5k ~ 10k steps	약 0.69 ~ 0.70
후반 10k ~ 15k steps	약 0.64 ~ 0.65
최종 Step	0.596

최종 Loss 값은 0.596으로 확인되었으며, 학습 후반부까지 손실률이 지속적으로 감소하는 모습을 보였습니다. 이를 통해 데이터셋과 학습 설정이 모델에 안정적으로 반영되었음을 확인할 수 있었습니다.

또한 학습 완료 후 실제 이미지 생성을 진행하여 결과물을 검토했습니다. 생성 결과에서 과도한 노이즈, 이미지 깨짐, 형태 왜곡과 같은 주요 문제는 확인되지 않았으며, LoRA 적용 후에는 베이스 모델 대비 AssetFlow의 게임 에셋 스타일이 더 명확하게 반영되는 것을 확인했습니다.

4.2. 생성 결과 비교

비교 결과, LoRA 적용 모델은 베이스 모델보다 색감, 질감, 형태적 일관성 측면에서 프로젝트에 적합한 스타일을 더 안정적으로 생성했습니다. 실제 AssetFlow의 적합한 수준의 결과물을 확보했습니다.

3단계 — 모델 양자화 및 배포

5. 목표

학습한 LoRA 모델을 실제 서비스 환경에서 사용할 수 있도록 배포 구조를 설계했습니다.

핵심 목표는 다음과 같습니다.

• 추론 시 VRAM 사용량 감소
• 이미지 생성 속도 개선
• GPU 운영 비용 최적화
• LoRA 적용 모델의 배포 구조 단순화

6. 배포 환경

이미지 생성 모델은 RunPod 기반 추론 서버에 배포하는 방향으로 구성했습니다.

RunPod의 Serverless 환경은 GPU 사용 시간이 초 단위로 과금되는 구조이기 때문에, 추론 속도는 곧 운영 비용과 직접적으로 연결됩니다. 따라서 단순히 모델을 배포하는 것뿐만 아니라, 적은 Step으로 빠르게 이미지를 생성하고 VRAM 사용량을 줄이는 것이 중요한 최적화 목표였습니다.

서비스 배포 시에는 Base Model과 LoRA를 따로 로드하는 방식이 아니라, Base Model + LoRA 병합 모델 형태로 사용할 계획입니다.

이를 통해 추론 구조를 단순화하고, AssetFlow 전용 게임 에셋 스타일이 항상 일관되게 반영되도록 구성했습니다.

베이스 모델은 ERNIE-Image Turbo 모델을 기준으로 설정했습니다.

Turbo 모델은 기존 베이스 모델을 증류한 모델로, 적은 Step 수로 빠르게 이미지를 생성할 수 있습니다.

선정 이유는 다음과 같습니다.

• 낮은 Step 수로 빠른 추론 가능
• 베이스 모델과 비교하여여 품질 손실 최소화
• 서비스 환경에 따른 속도 확보

학습한 AssetFlow LoRA는 ERNIE-Image Turbo 모델과 병합하여 배포할 예정입니다.

• 별도 LoRA 로딩 과정 제거
• 모델 배포 및 버전 관리 단순화
• AssetFlow 전용 게임 에셋 스타일 고정

7. NVFP4 양자화

배포 환경은 RTX 6000 PRO Blackwell 96GB VRAM을 기준으로 구성했습니다.

병합된 이미지 생성 모델은 Blackwell 아키텍처에서의 추론 효율을 높이기 위해 NVFP4 형식으로 양자화했습니다. 양자화는 모델 전체를 일괄적으로 4bit로 변환하는 방식이 아니라, 생성 과정에서 연산 비중이 큰 Diffusion Transformer Backbone의 주요 Linear 연산을 중심으로 적용했습니다.

주요 양자화 대상은 Attention Block의 Q/K/V Projection Weight, Attention Output Projection, 그리고 FFN/MLP 계열 Linear Weight입니다. 일부 Quantized GEMM 경로에서는 Linear 연산의 Input Activation에 대해 동적 양자화를 적용하여 추론 효율을 높였습니다.

반면, Diffusion Transformer 내부에서도 품질에 민감한 경로는 FP16 정밀도를 유지했습니다. 특히 Latent Input, Denoising Output, Normalization Layer, Timestep Conditioning / Text Conditioning 경로는 denoising 과정에서 오차가 누적될 수 있기 때문에 고정밀도로 유지했습니다.

또한 VAE와 Text Encoder는 Diffusion Transformer와 분리된 별도 구성 요소로 보고, 본 NVFP4 양자화 대상에서 제외했습니다. VAE는 latent와 image 간 변환 품질에 직접적인 영향을 주고, Text Encoder는 프롬프트 조건 정보의 안정성에 영향을 주기 때문에 FP16 정밀도를 유지했습니다.

8. 동시 추론 확장 계획

RTX 6000 PRO Blackwell의 96GB VRAM을 활용해, 향후에는 여러 이미지 생성 요청을 동시에 처리하는 구조도 고려하고 있습니다.

vLLM처럼 요청을 효율적으로 관리하는 방식에서 아이디어를 얻어, 이미지 생성 모델에서도 남는 VRAM을 활용한 동시 추론 구조를 설계할 계획입니다.

VLM 기반 이미지 생성 모델 벤치마크

9. 평가 목적

AssetFlow의 게임 에셋 생성 품질을 비교하기 위해, 오픈소스 이미지 생성 모델과 SOTA 이미지 생성 모델을 대상으로 커스텀 벤치마크를 구성했습니다.

단순히 이미지가 보기 좋은지를 평가하는 것이 아니라, 실제 게임 에셋으로 사용할 수 있는지를 중심으로 평가 기준을 설계했습니다.

10. 평가 대상 모델

모델	구분	평가 목적
GPT Image 2.0	SOTA 이미지 생성 모델	최고 품질 기준점 확보
Qwen Image 2512	이미지 생성 모델	범용 생성 품질 비교
Z-Image Turbo	오픈소스 / 경량 모델	빠른 추론 기반 에셋 생성 가능성 확인
AssetFlow LoRA Model	커스텀 학습 모델	게임 에셋 스타일 반영 성능 확인

VLM 평가 방식

평가는 Qwen 3.6 32B와 Gemma 4 31B QAT 두 개의 VLM 모델을 함께 사용하여 진행했습니다.

각 이미지 생성 결과에 대해 동일한 평가 프롬프트를 적용하고, 두 VLM 모델의 평가 결과를 종합하여 최종 점수를 산정했습니다. 이를 통해 단일 VLM 모델의 판단 편향을 줄였습니다.

VLM에는 게임 에셋 평가에 특화된 시스템 프롬프트를 적용했습니다. 평가 기준은 다음 7개 항목으로 구성했습니다.

평가 기준	설명
Prompt Adherence	프롬프트를 정확히 반영했는지
Game Asset Usability	실제 게임 에셋으로 사용 가능한지
Visual Quality	형태, 색감, 조명, 디테일 완성도
Asset Category Fitness	UI, 캐릭터, 아이콘 등 목적 카테고리에 적합한지
Style Consistency	게임 아트 스타일이 일관적인지

11. 평가 항목

벤치마크는 AssetFlow에서 실제로 사용될 수 있는 게임 에셋 유형을 기준으로 구성했습니다.

평가 항목	설명
게임 UI 생성 능력	버튼, 패널, HUD 등 UI 에셋 생성 품질
캐릭터 일러스트 생성 능력	게임 캐릭터의 형태, 스타일, 완성도
아이콘 생성 능력	아이템, 장비, 재화 아이콘 등 소형 에셋 품질
배경·환경 에셋 생성 능력	배경, 맵 오브젝트, 환경 요소 생성 품질
스킬 이펙트·마법 효과 생성 능력	공격 효과, 마법 이펙트, 파티클 스타일 품질

12. 벤치마크 비교 표

13. 평가 결과 요약

VLM 기반 벤치마크를 통해 각 이미지 생성 모델의 게임 에셋 활용 가능성을 비교했습니다.

GPT Image 2.0은 전체적인 품질 기준점으로 활용하기에 적합했으며, Qwen Image 2512와 Z-Image Turbo는 오픈소스 및 경량 모델 관점에서 비교 대상으로 사용했습니다.

최종적으로 AssetFlow Model은 특정 게임 에셋 스타일을 안정적으로 반영하는 것을 목표로 학습되었으며, 실제 서비스 환경에서는 품질, 속도, 비용 효율을 함께 고려하여 배포 모델로 활용할 수 있도록 구성했습니다.