AI 영상 만들기 (3) — 설명한 내용은 화면에서도 보일까?

 

🧪 이번 실험

 

AI에게 설명한 내용은 영상에서도 그대로 전달될까?

 

지난 ②편에서는 여러 장면을 이어 하나의 짧은 이야기를 만들어봤습니다.

그 과정에서 예상하지 못한 발견이 하나 있었습니다.

지갑을 건네는 모든 동작을 영상으로 만들지 않아도,

 

민호가 지갑을 들고 있는 장면 → 은서가 지갑을 들고 있는 장면

 

두 장면을 이어 붙이자 그 사이에서 무슨 일이 있었는지 자연스럽게 이해할 수 있었습니다.

그래서 이번에는 이걸 조금 더 확인해 보기로 했습니다.

AI에게 상황을 자세히 설명하는 것과, 관객에게 그 상황이 보이게 만드는 것은 같은 일일까요?

이번에는 아주 단순한 상황 하나를 준비했습니다.

은서가 커피를 마시려고 한다.
그런데 컵이 비어 있다.

 

 

① 상황을 설명하면 알아서 보여줄까?

예상: 프롬프트에 상황을 정확하게 설명하면 AI가 자연스럽게 영상으로 표현할 것이라고 생각했습니다.

은서가 컵을 들고, 마시려고 하고, 컵이 비어 있다는 것을 확인한 뒤 허탈해하는 과정까지 한 번에 요청했습니다.

 

 

 

결과: 생각보다 영상은 잘 만들어졌습니다.

은서는 컵을 들었고, 입으로 가져갔고, 마시는 듯한 행동도 했습니다.

캐릭터와 카페 배경도 크게 무너지지 않았습니다.

그런데 영상을 다시 보니 정작 가장 중요한 것이 잘 보이지 않았습니다.

 

컵이 비어 있다는 사실이었습니다.

 

프롬프트에는 분명히 적혀 있었지만, 아무 설명 없이 영상을 본다면 은서가 그냥 커피를 마시고 컵을 내려놓는 것처럼 보였습니다.

여기서 첫 번째 질문이 생겼습니다.

AI에게 설명한 것과 관객에게 보이는 것은 다른 걸까?

 

② 그렇다면 행동을 더 자세히 써보면 어떨까?

 

이번에는 추상적인 설명을 눈에 보이는 행동으로 바꿔봤습니다.

 

예상: '컵이 비었다는 것을 확인한다'라고 쓰는 대신, 컵을 기울인다.

 

아무것도 나오지 않는다. 컵 안을 바라본다.

 

처럼 실제 화면에서 볼 수 있는 행동으로 지시하면 더 명확해질 것이라고 예상했습니다.

시작 이미지도 첫 번째 실험과 같은 이미지를 사용했습니다.

 

 

그런데 결과는 전혀 예상하지 못한 방향으로 흘러갔습니다.

 

 

 

결과: 은서는 컵을 기울였습니다. 그런데 원래 비어 있던 컵에 어느 순간 커피가 생겼습니다.

그리고 컵을 기울이자 그 커피가 테이블 위로 쏟아졌습니다.

제가 만들려고 했던 것은 '빈 컵을 확인하는 장면'이었는데, 결과적으로는 '커피를 쏟은 장면'처럼 바뀌어버렸습니다.

행동을 더 구체적으로 지시하면 원하는 결과에 가까워질 것이라고 예상했는데,

이번에는 오히려 AI가 그 행동에 맞춰 없던 요소를 만들어냈습니다.

물론 한 번의 결과만으로 이것이 항상 일어난다고 말할 수는 없습니다.

하지만 적어도 이번 실험에서는,

 

프롬프트를 더 자세하게 쓰는 것만으로 문제가 해결되지는 않았습니다.

 

③ 이번에는 행동 자체를 맡기지 않았습니다

 

여기서 방법을 바꿔봤습니다.

AI에게 '빈 컵을 확인하는 과정' 전체를 만들어달라고 하지 않고, 제가 관객에게 보여주고 싶은 순간을 먼저 나눴습니다.

 

예상: 복잡한 행동을 한 번에 생성하는 대신 각각의 장면이 하나의 정보만 담당하게 하면 이야기가 더 명확하게 전달될 것이라고 생각했습니다.

 

세 장면을 만들었습니다.

컷	보여줄 것
컷1	은서가 컵을 마시려는 순간
컷2	텅 빈 머그컵 내부
컷3	빈 컵을 확인한 뒤의 은서

 

 

특히 두 번째 컷에서는 은서가 컵을 확인하는 복잡한 행동을 만들지 않았습니다.

카메라가 빈 컵 안쪽을 직접 보여주게 했습니다.

그다음 각각의 정지 이미지를 영상으로 만들 때도 큰 행동을 요구하지 않고 눈 깜빡임이나 미세한 움직임 정도만 요청했습니다.

그런데 최소한만 움직여달라고 해도 문제가 생겼습니다

 

결과: 빈 컵 자체는 이전보다 훨씬 명확하게 보여줄 수 있었습니다.

하지만 마지막 장면을 영상으로 만드는 과정에서 또 예상하지 못한 변화가 생겼습니다.

원하지 않았던 커피와 김이 생성되기 시작했습니다.

김과 커피가 생기지 않도록 프롬프트를 수정해서 여러 번 시도했지만 원하는 대로 없어지지 않았습니다.

 

계속 다시 생성할 수도 있었습니다.

하지만 이번에는 다른 선택을 했습니다.

김이 나타나기 전 구간까지만 사용하기로 했습니다.

AI가 만든 영상을 끝까지 고치는 대신 필요한 부분만 잘라내고,

세 장면을 편집해서 하나의 짧은 영상으로 연결했습니다.

 

🎬 한 번에 만든 영상과 편집한 영상을 비교해 봤습니다

 

최종적으로 두 결과를 나란히 비교해 보기로 했습니다.

한 번에 만든 영상

AI에게 컵을 들고 마시고 빈 것을 확인하고 반응하는 과정까지 한 번에 요청했습니다.

편집해서 만든 영상

필요한 순간을 정지 이미지로 먼저 만든 뒤 각각 최소한으로 움직이고, 필요한 구간만 골라 연결했습니다.

 

👉 [AI 영상 만들기 ③ — 한 번에 만든 영상 vs 편집한 영상 비교]

 

이번에는 후자가 제가 전달하고 싶었던 상황을 더 명확하게 보여줬습니다.

그렇다고 이것을 'AI 영상은 무조건 잘게 나눠 만들어야 한다'는 결론으로 생각하지는 않습니다.

이번 상황과 이번 생성 결과에서는 한 번에 더 자세히 시키는 것보다 무엇을 보여줄지 먼저 나누고 편집하는 방식이 더 잘 맞았습니다.

 

📊 이번 실험에서 확인한 것

 

처음에는 프롬프트의 문제라고 생각했습니다.

설명이 부족하면 더 자세히 쓰면 될 것 같았습니다.

그런데 실제로 해보니 조금 달랐습니다.

상황을 설명했을 때는 핵심 정보가 화면에서 잘 보이지 않았고,

행동을 더 자세히 설명하자 이번에는 AI가 없던 커피를 만들어 이야기를 바꿔버렸습니다.

결국 세 번째에는 프롬프트를 더 길게 쓰는 대신 관객에게 무엇을 보여줄 것인지 먼저 나누는 방법을 사용했습니다.

이번에 가장 크게 느낀 것은 이것이었습니다.

 

AI에게 무엇을 설명했는가와
관객이 화면에서 무엇을 보았는가는 같지 않을 수 있었습니다.

 

 

AI에게 잘 설명하는 것도 중요하지만, 영상을 만드는 입장에서는 그보다 먼저 '관객에게 무엇을 보여줘야 이 상황을 이해할까?'를 생각할 필요가 있었습니다.

---

📌 Lab Note

오늘 배운 것

 

✔ AI에게 상황을 설명하는 것과 그 상황이 화면에서 보이게 만드는 것은 달랐습니다.

✔ 행동을 더 자세히 지시한다고 항상 원하는 결과에 가까워지는 것은 아니었습니다.

✔ 이번에는 복잡한 행동을 한 번에 생성하는 것보다 필요한 정보를 장면으로 나누는 방식이 더 잘 맞았습니다.

✔ AI가 원하는 대로 수정되지 않을 때는 계속 재생성하는 것보다 필요한 구간만 사용하고 편집하는 것도 하나의 방법이었습니다.

 

그리고 이번 실험을 끝내면서 질문이 조금 달라졌습니다.

AI에게 얼마나 자세히 설명해야 할까? 보다,

AI에게 무엇을 맡기고, 사람은 무엇을 보여줘야 할까?

앞으로 AI로 이야기를 만들면서 계속 확인해보고 싶은 질문입니다.

---

👀 다음 편 예고

이번에는 아주 짧은 '빈 컵' 하나를 보여주는 데도 여러 번의 시행착오가 있었습니다.

그렇다면 조금 더 이야기가 있는 장면에서는 어떨까요?

다음에는 단순한 동작 테스트에서 조금 더 벗어나, AI와 짧은 이야기를 만드는 실험을 이어가 보겠습니다.