GPTers Blog · AI Video Production

AI로 뮤직비디오를
만들다

영화 《왕과 사는 남자》의 감동을 Suno AI + Imagen 4.0 + Veo 3.0 + Claude Code로
72시간 만에 5분 9초 뮤직비디오로 재탄생시킨 풀 파이프라인 제작기

강을 건너다 AI MV 썸네일
YouTube에서 보기

"나으리… 차갑지요. 이제 나갑시다. 따뜻한 데로 갑시다."

72h 제작 기간
5:09 러닝타임
$34 총 비용
13 씬 구성
80+ AI 이미지
60 AI 클립
SCROLL
01 — Why This Project

왜 AI로 뮤직비디오를 만들었나

2026년 3월, 영화 《왕과 사는 남자》를 보고 큰 감동을 받았습니다. 단종과 엄흥도 — 왕과 신하가 아닌, 사람과 사람으로 만난 두 남자의 이야기. 이 감동을 음악과 영상으로 표현하고 싶었습니다.


문제는 저는 영상 전문가도, 일러스트레이터도, 작곡가도 아니라는 점이었습니다. 하지만 2026년의 AI 도구들 — Suno AI로 작곡하고, Imagen 4.0으로 그림을 그리고, Veo 3.0으로 영상을 만들고, Claude Code로 이 모든 것을 오케스트레이션할 수 있다면?


결과: 72시간, $34로 5분 9초 뮤직비디오 완성. 이 글은 그 전 과정의 솔직한 기록입니다. 시행착오 7개를 포함해서.

02 — Production Pipeline

7단계 AI 제작 파이프라인

01
원작 분석
수동 + YouTube API
02
AI 작곡
Suno AI
03
스토리보드
Antigravity + Grok
04
AI 이미지
Imagen 4.0
05
AI 영상 클립
Veo 3.0 + fal.ai
06
편집 합성
ffmpeg + Claude Code
07
자막 & 출력
SRT + 캡컷

핵심은 음원 → 에너지 분석 → 씬 분할의 순서.
음원 없이 씬을 나누면, 나중에 전부 다시 해야 합니다.

03 — Production Timeline

72시간의 여정

DAY 1 — 3월 20일 (목) · 기획 & 레퍼런스
20:33
원작 분석 — 줄거리, 캐릭터, 테마 정리
《왕과 사는 남자》의 서사 구조를 12KB 문서로 정리. 핵심 모티프 4개 도출: 강(유배→죽음), 줄(뗏목→활줄), 밥상(거부→소속), 이름(왕→인간)
20:59
Suno AI로 음원 4종 생성 → 최종 1곡 선택
"강을건너다 5번스타일" (5:09, D단조, 6/8박) — 대금+가야금+스트링스의 서정적 발라드. 여성 보컬 선택.
Suno AI
21:30
YouTube 레퍼런스 분석 — 댓글 200개 감성 분석
김만오 리뷰(183만뷰) 자막 추출 + 댓글 감성 분석. "밥상", "한", "정" 키워드 → 가사 모티프 결정.
21:53
가사 1차 작성 — 원작 서사를 음악 구조로 변환
11섹션 (Intro~Outro) 가사 완성. 단종의 시점에서 유배→회복→희생의 아크.
22:50~23:57
프로덕션 패키지 v4 → v5 → v6 진화
v4(11씬) → 음원 에너지 분석 후 → v5(13씬) → 레퍼런스 매칭 → v6(프롬프트 통합). 시행착오 #1: 음원 없이 씬 분할 시도.
DAY 2 — 3월 21일 (금) · 이미지 & 영상 생성
00:13
스토리보드 v7 확정 — 13씬 완전 명세
씬별 타임코드, 카메라, 조명, hex 컬러, 감정 곡선, 전환 지시 모두 포함. 에너지 곡선 ASCII 시각화.
03:16~07:30
이미지 생성 — Imagen 4.0 (57장) + Codex (66장)
한국 사극 웹툰/만화 일러스트 스타일. Imagen 4.0이 메인, Codex는 비교용. "Korean historical sageuk webtoon/manhwa illustration style, detailed ink linework..."
Imagen 4.0 Codex
04:26~06:32
Kling AI 영상 테스트 — 실패 (2시간 낭비)
5건 테스트 후 스타일 불일치 + 캐릭터 변형 확인. 시행착오 #3: 1~2컷만 비교하면 30분이면 충분했다.
Kling AI ✗ → Veo 3.0 ✓
12:28~
Veo 3.0 영상 클립 배치 생성 시작 (60개 클립)
클립 02~49번 순차 → 점진적 동시 제출. Rate Limit 429와의 전쟁. 시행착오 #4: 순차 1개씩 = 비효율. 동시 3~4개 가능.
Veo 3.0 Claude Code
DAY 3 — 3월 22일 (토) · 편집 & 완성
03:04
클립 큐레이션 — 42개 중 41개 선별
품질 미달 1개 제외. 감정 강도가 높은 씬(43~49번)일수록 Veo가 더 길고 큰 클립을 생성하는 패턴 발견.
04:20
가사 v2 — 김이나 스타일로 감정 밀도 강화
단어 수 15% 감소, 은유 밀도 2배. "숟가락 → 왕관" 같은 상징 압축.
20:41
최종 MV 인코딩 — "0.왕사님 뮤비.mp4"
306MB, 5:09, H.264 1280×720 24fps. 41개 클립 + 음원 합성.
ffmpeg
POST — 3월 30일 ~ 4월 1일 · 리컷 & 최종본
3/31
MV 재편집 계획 수립 — 핵심 5씬 보강
스토리보드 v7 대비 불일치율 개선 목표. 활줄 씬, 호랑이+활쏘기, 배신 연극, 암전, 역사 자막 보강.
4/1
MV v5 최종본 완성 + 유튜브 업로드 패키지
mv5_final.mp4 (148MB), SRT 가사 자막 3종, 썸네일 7종, 유튜브 제목/설명/태그 패키지 완성.
ffmpeg Claude Code
4/7
MV2 "벗" 기획안 작성 — 다음 프로젝트
엄흥도 시점, 3-트랙 교차 편집 (비극/회상/메타), 2.39:1 시네마스코프. 10씬 기획 + Suno 프롬프트 패키지.
04 — Storyboard

13씬 스토리보드 구조

SCENE 01
전주 — 대금 독주
0:00 – 0:10
촛불 꺼지는 텅 빈 왕좌. 어둠 속 대금 소리만.
SCENE 02
"나는 이제 어디로"
0:10 – 0:30
왕좌 버림 → 폭풍 속 뗏목 위 소년. 유배의 시작.
SCENE 03
"이 산골에 왕은 없다"
0:30 – 0:52
마을 도착. 떨리는 소년, 낯선 곳의 두려움.
SCENE 04
"절벽 끝에 서서"
0:52 – 1:04
절벽에서 뛰어내리려는 노산군. 엄흥도가 멱살을 잡아끈다.
SCENE 05
"밥 한 술에 벽이 무너지고"
1:04 – 1:20
첫 웃음, 밥상의 온기. 사람과 사람의 만남.
SCENE 06
"왕이 아닌 내가 되어"
1:20 – 1:50
축제 → 호랑이 대결 → 활쏘기. 왕이 아닌 사람으로 살아가는 순간.
SCENE 07
"태산아, 이리 와 앉아라"
2:00 – 2:30
바둑, 글 가르침, 평화로운 일상. 벗으로서의 나날.
SCENE 08
"더 이상 나로 인해"
2:30 – 2:48
비밀 편지, 불길한 예감. 행복의 끝이 보인다.
SCENE 09
"너를 살릴 거짓을"
2:48 – 3:14
배신 연극. 벗을 살리기 위한 거짓말. 무릎 꿇는 엄흥도.
SCENE 10
"태산이 짠 활줄을"
3:14 – 3:38
활줄 목걸이, 마지막 작별. 체념과 죽음의 각오.
SCENE 11
"전하… 이제 강을 건널 때입니다"
3:38 – 4:08
고요, 체념, 다가오는 끝. 암전과 침묵.
SCENE 12
"왕이었던 소년이"
4:08 – 4:44
왕좌의 통곡 → 강으로 내려감 → 물에 잠김. 절대적 클라이맥스.
SCENE 13
"따뜻한 데로 갑시다"
4:44 – 5:09
빈 밥상, 사라지는 실루엣. 카타르시스와 여운.
05 — Lessons Learned

7가지 시행착오와 교훈

LESSON 01
음원 없이 씬 분할
11씬으로 기획했다가 음원 에너지 분석 후 13씬으로 재조정. 결국 처음부터 다시.
→ 음원 확보 → librosa 에너지 분석 → 자동 씬 분할
LESSON 02
레퍼런스 과잉 추출
500+장 추출, 실사용 ~30장. 활용률 6%. "일단 다 뽑자"의 함정.
→ 씬당 3~5장 타겟팅 + 콘택트 시트로 필터링
LESSON 03
Kling AI 2시간 낭비
웹툰 스타일에 부적합한 도구로 5건 테스트. 1~2건이면 충분했다.
→ 동일 이미지 1장으로 3종 도구 비교 (30분)
LESSON 04
순차 1개씩 클립 생성
9개 클립에 3시간+. Veo 3.0은 동시 3~4개 가능한데 몰랐다.
→ 배치 3~4개 제출, 90초 간격 쿨다운
LESSON 05
Rate Limit 쿨다운 부족
[30, 60, 120]초 재시도 — 30초는 거의 항상 429 에러.
→ [60, 90, 120]초 + 3회 실패 시 fal.ai 폴백
LESSON 06
이미지 3번에 나눠 생성
57장 → 9장 → 3장. 3일에 걸쳐 분산. 스토리보드 미확정 상태에서 시작한 결과.
→ prompts.json 완성 후 한 번에 일괄 생성
LESSON 07
최종 버전 혼동
306MB vs 97MB 두 파일, 어느 것이 최종인지 불명확.
→ FINAL_{프로젝트명}_v{N}.mp4 명명 규칙
06 — Cost & Optimization

비용 분석과 최적화 전후 비교

도구 수량 단가 비용
Suno AI (음원 생성) 4곡 ~$0.50 ~$2
Imagen 4.0 (이미지) 80장 $0.04 $3.20
Codex (비교용 이미지) 66장 ~$0.01 ~$0.66
Veo 3.0 (영상 클립) 60클립 $0.50 $30.00
fal.ai (폴백) ~3클립 $0.10 ~$0.30
ffmpeg / Claude Code 전 과정 — $0 (로컬)
합계 ~$34

실제 vs 이상적 워크플로우

실제 (첫 시도)

총 소요72시간
씬 분할음원 없이 → 재조정
레퍼런스500+장 (6% 활용)
도구 테스트2시간 낭비
이미지 생성3일 × 3회 분산
영상 생성순차 1개씩
비용~$34

최적화 (교훈 반영)

총 소요~12시간
씬 분할에너지 분석 → 자동
레퍼런스씬당 3~5장
도구 테스트1장 × 3종 비교
이미지 생성1회 일괄
영상 생성배치 3~4개 동시
비용~$20
🎵

음원 먼저, 씬 나중

에너지 프로파일이 씬 분할의 근거

📋

한 번에 확정, 한 번에 생성

prompts.json 완성 후 일괄 생성

🧪

1장 테스트, N장 실행

도구 비교는 1장, 본 작업은 배치

07 — AI Tool Stack

사용한 AI 도구 생태계

Suno AI
AI 작곡
4곡 생성 → 1곡 선택
5:09 D단조 발라드
Imagen 4.0
AI 이미지 생성
80장 웹툰 스타일
$0.04/장
Veo 3.0
AI 영상 생성
60개 시네마틱 클립
$0.50/클립
fal.ai Wan2.2
폴백 영상 생성
이미지→영상 변환
$0.10/클립
Claude Code
오케스트레이션
API 호출 · 스크립트
ffmpeg 편집
Grok
프롬프트 엔지니어링
29개 영상 프롬프트
씬별 5요소 명세
08 — What's Next

다음 프로젝트: MV2 "벗"

같은 세계, 다른 시선 — 엄흥도의 이야기

MV1이 단종(왕)의 시점이었다면, MV2는 엄흥도(벗)의 시점입니다.
"처음엔 왕이라 불렀지... 그때 알았다, 이 아이를 지켜야 한다"

MV1 "강을 건너다" 노산군 시점 · 절망→회복→희생
13씬 시간순 서사 · 16:9
5:09 · Suno 오리지널
MV2 "벗" 엄흥도 시점 · 걱정→교감→이별
10씬 3-트랙 교차 편집 · 2.39:1 시네마스코프
3:10 · 예상 비용 ~$14

이 프로젝트가 증명한 것:

AI 도구의 조합으로 전문가가 아닌 사람도 감동적인 뮤직비디오를 만들 수 있습니다. 물론 완벽하지는 않습니다 — 캐릭터 일관성, Rate Limit, 버전 관리 등 수많은 시행착오가 있었습니다. 하지만 72시간, $34로 5분 9초의 뮤직비디오를 만들어낸 것 자체가 2026년 AI 크리에이티브 도구의 가능성을 보여줍니다.

다음에는 12시간, $20으로 만들 수 있을 것입니다. 시행착오에서 배웠으니까요.