2026/3/15
나는 크리쳐가 등장하는 액션 영화를 좋아하고, 요즘은 무협 웹툰에 빠져 있다. 그러다 보니 이런 취향이 자연스럽게 AI 영상 실험으로 이어졌다. 짧은 티저 형태의 스토리텔링 영상을 만들기 시작했고, 새로 만든 인스타그램 계정에 하나씩 올리고 있다.
이 작업은 전적으로 재미로 하는 것이기 때문에, 내가 좋아하는 무드인 빈티지 판타지를 일관되게 유지하기로 했다. 그러다보니 계정에 보이는 작업물 전체가 하나의 세계관처럼 느껴지기 시작했다.
작업을 하면서 깨달은 건 두 가지였다. 시각적 무드를 일관되게 유지하는 것, 그리고 같은 캐릭터가 계속 등장할 수 있게 만드는 것이다. 이 글에서는 내가 그 두 가지를 어떻게 처리하는지 정리해보려고 한다.
무드보드를 스타일 파라미터로 만들기
첫 단계는 이미지 스타일을 일관되게 유지할 기준을 만드는 것이다. 나는 미드저니에서 계속 이미지를 생성해 보면서 내가 원하는 감정과 분위기에 맞는 결과를 찾았다. 딱 맞는 이미지가 나오면 저장해서 미드저니 무드보드에 업로드했다.
그리고 그 무드보드를 하나의 파라미터로 만들어 사용한다. 프롬프트에 포함시키면 새로 생성되는 이미지들이 같은 시각적 언어 안에서 나오기 때문이다. 시간이 지나면 마치 같은 영화의 장면처럼 자연스럽게 이어지는 이미지를 만들 수 있다.
"Use as prompt" 눌러서 --p값 얻기
이미지에서 영상으로
영상 생성에는 주로 Kling AI를 사용한다. 가끔 Runway도 쓰지만 Kling이 내가 준 이미지의 스타일을 더 잘 유지해주는 편이라서 자연스럽게 주력 도구가 되었다.
방식은 간단하다. 항상 미드저니로 만든 이미지를 first frame으로 넣는다. 색감과 텍스처, 스타일을 유지하는 것이 중요하기 때문이다. 이렇게 하면 영상이 그 이미지의 분위기를 기준으로 시작하게 된다.
여러 장면이 필요한 경우에는 multi-shot 기능을 사용하기도 한다. 텍스트 프롬프트만으로 원하는 포즈나 장면 전환을 정확히 만들기 어렵다면, 제미나이로 중간 포즈 이미지를 만든 뒤 first frame이나 end frame으로 넣는다. 이렇게 하면 움직임을 더 안정적으로 유도할 수 있다.
캐릭터 일관성 유지하기
하나의 스토리에서 같은 히로인이 여러 장면에 등장할 때는 캐릭터 일관성이 중요하다. Kling AI에는 Element라는 기능이 있는데, 캐릭터 레퍼런스를 저장해두는 방식이다. 먼저 미드저니에서 캐릭터 이미지를 만든다. 그 다음 Gemini를 이용해 정면, 옆면, 전신 같은 추가 시점을 생성한다.
Element에는 최소한 정면 얼굴 이미지가 반드시 들어가야 한다. 여기에 옆모습이나 다른 포즈 이미지를 추가할 수도 있고, 필요하면 음성 설정도 가능하다. 이렇게 캐릭터를 등록해두면 새로운 영상을 만들 때 해당 캐릭터를 선택해서 같은 인물이 등장하도록 할 수 있다.
카메라 워킹으로 AI 영상을 자연스럽게 만들기
카메라 움직임만으로도 AI 영상은 훨씬 자연스럽게 보일 수 있다. 나는 Runway의 카메라 프리셋 프롬프트를 참고해서 자주 가져다 쓴다.
예를 들어 다큐멘터리 스타일의 미세한 핸드헬드 흔들림이다. 자연스러운 프레이밍 변화와 작은 떨림이 들어가면 정적인 AI 영상 느낌이 많이 줄어든다.
그 외에도 피사체를 따라가는 트래킹, 완전히 고정된 카메라, 혹은 주인공을 중심으로 크게 회전하는 카메라 움직임을 자주 사용한다. 이런 작은 영화적 장치들이 결과물의 자연스러움을 크게 높여준다.
Organic shake prompt:
The camera has a subtle, organic handheld shake, mimicking a documentary style. There are minor, natural shifts in framing and focus, characteristic of someone holding the camera.
Camera tracking prompt:
The camera moves with organic yet steady motion to track the subject.
Minimal Camera prompt:
Locked-off camera. Motion occurs only within the fixed perspective of the motionless camera. Start and end on the exact same framing.
GPT로 프롬프트 작업 효율 높이기
나는 프롬프트 작성에서는 GPT를 많이 활용한다. 개인적으로는 프롬프트 생성이나 글 작성에서는 GPT가 Gemini보다 맥락 이해 면에서 더 뛰어나다고 느낀다.
반복되는 과정이 많기 때문에 나만 사용하는 커스텀 GPT도 만들어두었다. 대충 쓴 장면 설명을 미드저니 프롬프트로 변환해주고, 이미지 레퍼런스를 주면 화풍을 제외한 외형과 포즈만 묘사하도록 만든 뒤 마지막에 내 파라미터가 자동으로 붙도록 했다.
영상 작업일 경우에는 영상 모델이 이해하기 쉬운 짧은 안정형 프롬프트로 변환하도록 설정했다.
결국 이 작업의 핵심은 간단하다. 내가 개떡같이 말해도 AI가 찰떡같이 알아들을 수 있게 바꾸는 것이다. 이런 규칙들을 커스텀 GPT에 넣어두니 프롬프트를 고민하는 시간이 크게 줄었고, 그 이후의 작업은 기술적인 과정이라기보다 스토리텔링에 더 가까워졌다.