AI 영상 만들기 (2) — 여러 장면을 이어도 하나의 이야기가 될까?

 

🧪 이번 실험

AI로 여러 장면을 이어 실제 짧은 콘텐츠 한 편을 완성할 수 있을까?

 

①편에서는 여러 영상 AI를 직접 사용해 보며 ‘0원으로 어디까지 만들 수 있을까?’를 살펴봤습니다.

이번에는 테스트에서 한 단계 더 나아가 실제로 짧은 영상 한 편을 만들어보기로 했습니다.

처음 계획은 민호 혼자 등장하는 3개의 장면을 만드는 것이었습니다.

그런데 세 장면을 연결해보니 영상은 만들어졌지만 제가 만들고 싶었던 ‘한 편의 이야기’라는 느낌은 조금 부족했습니다.

그래서 민호가 지갑을 발견하고 주인을 찾아주는 이야기로 확장했고, 자연스럽게 두 번째 캐릭터인 ‘은서’도 등장하게 됐습니다.

결국 한 캐릭터·3컷으로 시작한 실험은 두 캐릭터·6컷 이야기 제작으로 커졌습니다.

이번 목표도 바뀌었습니다.

민호가 지갑을 발견하고 주인에게 돌려주는 짧은 이야기를 9:16 숏폼 영상으로 완성한다.

 

은서의 캐릭터 시트

 

🎬 먼저 이야기를 6개의 컷으로 나눴습니다

 

예상: 정지 이미지 단계에서 이야기를 먼저 만들어두면 영상화 과정도 수월할 것이다.

처음부터 영상을 생성하지 않고 이야기를 여섯 장의 정지 이미지로 먼저 구성했습니다.

컷	내용
컷1	카페에 있는 민호
컷2	카페 밖으로 나온 민호
컷3	바닥의 검은 지갑을 발견하고 줍는 민호
컷4	다른 위치에서 무언가를 찾는 은서
컷5	민호가 은서에게 지갑을 보여줌
컷6	은서가 지갑을 돌려받고 두 사람이 마주 봄

 

컷1~6 전체 이미지

 

 

영상으로 움직이기 전에 먼저 여섯 장의 정지 이미지로 이야기를 구성했습니다.

 

결과: 정지 이미지부터 예상하지 못한 문제가 생겼습니다. 컷 4에서 앞 장면과 같은 거리라는 느낌을 유지하려고 배경 일관성을 강하게 요청했더니, ‘같은 거리의 다른 위치’가 아니라 컷 2와 거의 같은 배경이 만들어졌습니다.

그래서 프롬프트에

같은 장소의 분위기는 유지하지만, 배경 배치와 카메라 위치는 그대로 복사하지 않는다.

 

라고 추가했습니다.

 

그제야 같은 동네이면서도 다른 위치처럼 보이는 장면을 만들 수 있었습니다.

같은 공간이라는 느낌은 유지하면서 배경까지 똑같아지지 않도록 다시 만들어봤습니다.

이번 실험에서는 ‘같은 배경을 유지하는 것’과 ‘같은 공간처럼 느껴지게 만드는 것’이 다를 수 있다는 점을 경험했습니다.

 

👥 두 번째 캐릭터가 등장하자 확인할 것이 늘었습니다

 

예상: 캐릭터 시트가 있으니 두 사람이 함께 등장해도 각자의 모습을 어느 정도 유지할 수 있을 것이다.

민호 혼자일 때는 주로 얼굴과 의상, 배경을 확인하면 됐습니다.

하지만 컷 5부터 은서와 지갑, 커피컵까지 한 화면에 등장했습니다.

민호 + 은서 + 지갑 + 커피컵 + 배경 + 그림체

한 장면에서 동시에 유지해야 할 요소가 늘어난 것입니다.

 

💡 모든 행동을 AI에게 움직이게 할 필요는 없었습니다

 

이번 제작에서 가장 크게 생각이 바뀐 부분입니다.

처음에는 모든 행동이 영상 속에서 보여야 한다고 생각했습니다.

발견한다 → 줍는다 → 보여준다 → 건네준다 → 받는다.

하지만 두 사람이 물건을 주고받는 것처럼 복잡한 행동을 구현하려 하자 어려움이 생겼습니다.

그래서 방법을 바꿨습니다.

 

컷 5: 민호가 지갑을 보여준다.
↓
컷 6: 지갑이 이미 은서의 손에 있다.

 

지갑을 직접 건네는 장면은 만들지 않았습니다.

하지만 두 컷을 이어놓으니 그 사이의 행동은 자연스럽게 연결됐습니다.

두 장면 사이에는 지갑을 직접 건네는 동작이 없습니다.

그런데 이어놓으니 이야기는 자연스럽게 이해됐습니다.

관객이 두 장면 사이에서 일어난 행동을 연결해 주기 때문입니다.

여기서 처음 생각했던 것과 다른 질문이 생겼습니다.

AI가 모든 움직임을 만들어야 영상인 걸까?

 

정지 이미지에서 중요한 순간을 먼저 만들고, 영상 AI에는 눈 깜빡임이나 작은 움직임만 맡길 수도 있었습니다.

그리고 필요한 부분만 골라 편집하면 됐습니다.

모든 동작을 AI에게 시키는 것보다, AI에게 무엇을 시키지 않을지를 정하는 것도 제작의 일부였습니다.

 

✂️ 6개의 영상을 한 편으로 이어봤습니다

 

6개 장면을 CapCut에서 순서대로 연결했습니다.

첫 편집본은 약 15초였습니다.

그대로 사용하지 않고 각 영상에서 이야기에 필요한 움직임만 남겨 다시 잘랐습니다.

최종 영상은 약 11.8초, 1080×1920, 9:16으로 완성했습니다.

대사는 넣지 않고 지갑 발견과 마지막 장면에 짧은 효과음을 넣은 뒤 가벼운 BGM을 추가했습니다.

 

📊 여러 장면을 이어도 하나의 이야기가 될까?

 

이번 결과만 놓고 보면 가능했습니다.

6개의 장면을 이어 약 11.8초짜리 이야기를 완성했습니다.

하지만 AI가 만들어준 결과를 그대로 이어 붙인 것은 아니었습니다.

장면을 나누고, 결과를 확인하고, 잘못된 부분을 수정하고, 어려운 동작은 컷 사이에서 생략하고, 필요한 영상 구간만 골라 편집했습니다.

그래서 이번 실험의 답은 이렇게 남기고 싶습니다.

이어졌습니다.
다만 AI가 모든 장면을 완벽하게 만들어줘서가 아니었습니다.

 

사람이 무엇을 만들어야 하는지 결정하는 것만큼 무엇을 만들지 않아도 되는지 결정하는 것도 제작의 일부였습니다.

 

🎥 최종 결과

 

6개의 장면을 이어 완성한 약 11.8초의 영상입니다.

글에서는 제작 과정과 시행착오를 기록했고, 실제로 장면들이 어떻게 하나의 이야기로 이어졌는지는 인스타그램에 올려두었습니다.

👉 [AI 영상 만들기 ② — 완성 영상 보러 가기]

 

📌 Lab Note

 

오늘 배운 것

 

✔ 같은 공간을 유지하는 것과 같은 배경을 복제하는 것은 달랐습니다.

✔ 생성이 되지 않았을 때도 확인한 사실과 아직 모르는 원인을 구분할 필요가 있었습니다.

✔ 모든 동작을 AI에게 시킬 필요는 없었습니다.

컷과 컷 사이를 관객이 연결하도록 남겨두는 것도 하나의 방법이었습니다.

 

👀 다음 편 예고

 

①편에서는 “0원으로 어디까지 만들 수 있을까?”를 물었습니다.

👉 [이전 실험 — AI 영상 만들기 ①: 0원으로 어디까지 만들 수 있을까?]

②편에서는 여러 장면을 이어 실제 짧은 이야기 한 편을 완성해 봤습니다.

그리고 새로운 질문이 생겼습니다.

AI에게 어디까지 맡기고, 사람은 어디서 개입해야 할까?

 

다음 실험에서는 이 질문을 가지고 다시 만들어보겠습니다.