PythonDiffusion ModelsVLM

1. PowerPoint Agent 개발

1.1. 개발 목표

PowerPoint Agent의 목표는 단순히 발표 자료의 텍스트 초안을 작성하는 것이 아니라, 실제 업무에서 바로 활용 가능한 수준의 PowerPoint 문서를 자동 생성하는 것입니다.

기존 LLM 기반 문서 생성 방식은 문장 작성이나 요약에는 강점이 있지만, 슬라이드 단위의 구조 설계, 시각적 위계, 레이아웃 일관성, 발표 흐름 구성에는 한계가 있었습니다. 특히 PowerPoint는 단순 텍스트 문서와 달리 제목, 본문, 이미지, 표, 도식, 강조 요소가 슬라이드 안에서 균형 있게 배치되어야 하므로, 문서 생성 과정 자체를 별도의 단계형 워크플로우로 설계할 필요가 있었습니다.

이를 해결하기 위해 PowerPoint 제작 과정을 기획 → 목차 구성 → 슬라이드 설계 → 레이아웃 배치 → 디자인 톤 정리 → 최종 PPT 생성 단계로 분리하고, 각 단계를 Agent Skill 기반으로 자동화했습니다.

주요 목표는 다음과 같습니다.

  • 발표 목적과 대상에 맞는 슬라이드 구조 자동 생성
  • 보고서형, 제안서형, 포트폴리오형 등 문서 유형별 흐름 자동 구성
  • 제목, 본문, 표, 도식화 요소를 구분한 구조화 출력
  • PowerPoint 레이아웃이 깨지지 않도록 생성 결과 검증
  • 외부 고성능 LLM API 의존도를 낮추고 로컬 SLM 기반으로 비용 최적화

1.2. 데이터셋 구축

PowerPoint Agent 및 SLM 파인튜닝을 위해 PowerPoint 생성에 특화된 데이터셋 구축 파이프라인을 설계했습니다.

일반적인 텍스트 데이터셋만으로는 PowerPoint의 구조적 특성을 학습하기 어렵기 때문에, 슬라이드 제목, 본문, 요약, 도식화 요소, 레이아웃 배치 정보를 포함한 Python 코드 기반 데이터셋을 생성했습니다. 이 데이터셋은 단순 문장 생성이 아니라 실제 PowerPoint 파일을 생성할 수 있는 코드 형식으로 구성했습니다.

데이터셋 구축 과정에서는 품질이 낮거나 실행 오류가 발생하는 샘플을 자동으로 제거하는 필터링 과정을 포함했습니다. 생성된 Python 코드가 정상적으로 실행되지 않거나 PowerPoint 구조를 올바르게 만들지 못하는 경우 해당 데이터를 제외하여, 학습에 사용되는 데이터의 품질을 높였습니다.

데이터셋 생성에는 LM Studio 환경에서 양자화된 Qwen Coder 계열 모델을 사용했습니다. 해당 모델은 코드 생성에 특화되어 있어 Python 기반 PowerPoint 생성 코드 데이터셋 제작에 적합했으며, Draft 기능을 활용해 빠른 추론 속도로 대량의 데이터를 생성할 수 있었습니다.

로컬 GPU 환경에서 대형 모델을 FP16으로 구동할 경우 VRAM 사용량이 과도하게 증가하는 문제가 있었기 때문에, 4bit 양자화 모델을 사용하여 메모리 사용량을 줄이고 추론 속도를 확보했습니다.

최종적으로 약 30시간 동안 총 2만 개 규모의 PowerPoint 생성 데이터셋을 수집했으며, 해당 데이터셋을 기반으로 SLM 파인튜닝을 진행했습니다.

1.2.1. 데이터셋 구축 핵심 내용

항목내용
데이터 형식Python 기반 PowerPoint 생성 코드
데이터 구성 요소슬라이드 제목, 본문, 요약, 도식화 요소, 레이아웃 정보
생성 환경LM Studio 기반 로컬 추론 환경
사용 모델Qwen Coder 계열 양자화 모델
최적화 방식4bit 양자화 모델 활용
품질 관리코드 실행 오류 발생 시 해당 데이터셋 제거
수집 시간약 30시간
데이터 규모약 2만 개

1.3. SLM 파인튜닝

구축한 데이터셋을 기반으로 PowerPoint 문서 생성에 특화된 SLM 파인튜닝을 진행했습니다.

파인튜닝의 핵심 목적은 모델이 단순히 문장을 생성하는 것이 아니라, PowerPoint 문서의 구조를 이해하고 슬라이드 단위로 적절한 출력 형식을 생성하도록 만드는 것이었습니다. 이를 위해 제목, 본문, 요약, 표, 도식화 요소를 구분하는 출력 패턴을 학습시켰으며, 슬라이드별 역할과 발표 흐름을 유지할 수 있도록 데이터셋을 구성했습니다.

또한 로컬 환경에서 추론 가능한 SLM을 활용함으로써 외부 LLM API 호출 비용을 줄이고, 반복적인 문서 생성 작업을 내부 시스템에서 처리할 수 있도록 설계했습니다.

1.3.1. 파인튜닝 목표

  • PowerPoint 문서 작성 패턴 학습
  • 슬라이드별 콘텐츠 구조화 출력
  • 제목, 본문, 요약, 도식화 요소 분리
  • 발표 흐름에 맞는 목차 및 슬라이드 구성 생성
  • 로컬 추론 기반 문서 생성 비용 절감

1.3.2. 파인튜닝 후 기대 효과

항목기존 LLM 호출 방식파인튜닝 SLM 방식
문서 구조 일관성프롬프트에 따라 편차 발생학습된 출력 형식 기반으로 안정화
비용API 호출량 증가 시 비용 증가로컬 추론 기반으로 비용 절감
반복 작업 처리외부 API 의존내부 모델 중심 처리
PowerPoint 특화성일반 문서 생성 중심슬라이드 구조 생성에 최적화
커스터마이징프롬프트 수정 중심데이터셋 기반 동작 개선 가능

1.4. PowerPoint Agent 설계

PowerPoint Agent는 PowerPoint 제작 과정을 하나의 요청으로 처리하는 것이 아니라, 여러 단계의 Agent Skill로 분리하여 설계했습니다.

사용자가 주제, 목적, 대상, 문서 유형을 입력하면 Agent는 먼저 발표 목적을 분석하고, 그에 맞는 목차와 슬라이드 구성을 생성합니다. 이후 각 슬라이드별 핵심 메시지, 본문 내용, 시각화 요소, 레이아웃 방향을 구성하고, 최종적으로 PowerPoint 파일을 생성하는 구조입니다.

또한 생성된 PPT의 레이아웃이 깨지지 않도록 문서 구조를 검토하는 보정 Agent 기능도 함께 설계했습니다. 이를 통해 단순 텍스트 생성 결과를 그대로 PowerPoint에 넣는 방식이 아니라, 실제 슬라이드 문서에 적합한 구조로 변환하는 과정을 자동화했습니다.

1.4.1. Agent Skill 단계

단계역할
1. 목적 분석발표 목적, 대상, 문서 유형 분석
2. 목차 구성전체 발표 흐름과 섹션 구조 생성
3. 슬라이드 설계슬라이드별 핵심 메시지와 콘텐츠 방향 설정
4. 콘텐츠 생성제목, 본문, 요약, 표, 도식화 요소 생성
5. 레이아웃 배치슬라이드 요소의 위치와 시각적 위계 구성
6. 디자인 톤 정리보고서형, 제안서형, 포트폴리오형 등 톤 적용
7. PPT 생성Python 기반 PowerPoint 파일 생성
8. 결과 검증레이아웃 깨짐, 내용 누락, 구조 오류 확인

1.4.2. 주요 구현 내용

  • 문서 유형별 PowerPoint 생성 Skill 설계
  • 발표 목적과 대상에 따른 자동 목차 생성
  • 슬라이드별 핵심 메시지 및 콘텐츠 흐름 자동 구성
  • 제목, 본문, 표, 도식화 요소를 분리한 구조화 출력
  • Python 기반 PPT 생성 코드 자동 생성
  • 생성 결과의 레이아웃 및 구조 오류 검증
  • 로컬 SLM과 Agent 워크플로우를 결합한 비용 최적화 구조 구현

1.5. 벤치마크 및 비교

PowerPoint Agent의 성능을 확인하기 위해 기존 LLM 기반 문서 생성 방식, 로컬 SLM 단독 생성 방식, Agent Skill 기반 생성 방식을 비교했습니다.

비교 기준은 PowerPoint 생성 품질에 중요한 항목인 슬라이드 구조 일관성, 발표 흐름, 레이아웃 안정성, 비용 효율성, 대량 생성 적합성을 중심으로 설정했습니다.

1.5.1. 방식별 비교

비교 항목일반 LLM API 기반 생성로컬 SLM 단독 생성PowerPoint Agent Skill 기반 생성
슬라이드 구조 일관성중간중간높음
발표 흐름 구성중간중간높음
레이아웃 안정성낮음~중간중간높음
문서 유형별 대응프롬프트 의존제한적 대응템플릿 및 Skill 기반 대응
생성 비용높음낮음낮음
대량 생성 적합성낮음중간높음
수정 및 확장성프롬프트 수정 중심모델 재학습 필요Skill 단위 확장 가능
로컬 환경 활용성낮음높음높음
실무 문서 활용성중간중간높음

1.5.2. 모델 및 시스템 비교

항목외부 고성능 LLM파인튜닝 SLMPowerPoint Agent
주요 역할범용 텍스트 생성PPT 구조화 출력 생성전체 PPT 제작 워크플로우 제어
장점높은 언어 이해 능력낮은 비용, 빠른 로컬 추론단계별 문서 생성 및 검증 가능
단점비용 부담, API 의존범용 추론 능력 제한초기 Skill 설계 필요
적합한 작업복잡한 기획, 고난도 문장 생성반복적인 PPT 구조 생성실제 PPT 문서 자동 생성
활용 방식보조 생성 모델메인 생성 모델전체 자동화 시스템

1.5.3. 주요 성과

  • PowerPoint 제작 과정을 Agent Skill 기반 단계형 워크플로우로 구조화
  • 약 2만 개 규모의 Python 기반 PowerPoint 생성 데이터셋 구축
  • Qwen Coder 계열 모델을 활용한 데이터셋 자동 생성 파이프라인 구현
  • 4bit 양자화 모델을 활용하여 로컬 환경에서 대량 데이터 생성 수행
  • PowerPoint 문서 작성 패턴에 특화된 SLM 파인튜닝 진행
  • 외부 LLM API 의존도를 낮추고 로컬 추론 기반 비용 최적화 구조 구현
  • 문서 유형별 슬라이드 구성, 발표 흐름, 레이아웃 배치 자동화
  • 생성된 PPT의 구조 및 레이아웃을 검증하는 Agent 기능 설계

1.6. 최종 정리

본 프로젝트에서는 PowerPoint 제작 AI를 단순한 문서 생성 기능이 아니라, 데이터셋 구축, SLM 파인튜닝, Agent Skill 설계, 결과 검증까지 포함하는 문서 자동화 시스템으로 구현했습니다.

이를 통해 사용자는 복잡한 추가 지시 없이도 발표 목적과 문서 유형에 맞는 PowerPoint 초안을 생성할 수 있으며, 반복적인 내부 보고서, 제안서, 포트폴리오 제작 업무를 자동화할 수 있는 구조를 구축했습니다.