편집 프로그램 없이 숏폼을 자동으로 만드는 법 — 네 번 실패하고 얻은 것

2026년 8월 15일

숏폼영상 자동화바이브 코딩비개발자Claude Codeffmpeg

유튜브에 올릴 짧은 영상을 만들고 싶은데, 편집 프로그램 앞에서 막히신 적 있으신가요.

저는 그랬습니다. 자막 넣는 법을 찾다가 한 시간이 지나고, 음악을 깔면 목소리가 안 들리고, 다시 손대면 어디를 건드렸는지 몰라서 처음부터 다시 했습니다.

그래서 편집을 배우는 대신, 영상을 만들어주는 프로그램을 AI와 함께 만들었습니다. 지금은 이렇게 씁니다.

python scripts/make_short.py ep03-spec.json

1분 23초 뒤에 29초짜리 영상 하나가 나옵니다. 자막·내레이션·배경음악이 전부 들어간 상태로요.

이 글에는 어떻게 만들었는지보다, 어디서 네 번 실패했는지를 적었습니다. 그 네 번이 이 방식의 전부이기 때문입니다.

편집기와 무엇이 다른가

가장 큰 차이는 속도가 아닙니다. 고칠 때 다릅니다.

	편집 프로그램	이 방식
만들 때	마우스로 자르고 붙임	글로 적은 설계서 하나
고칠 때	그 자리를 다시 찾아 손댐	설계서의 그 줄만 고치고 다시 실행
되돌리기	기억에 의존	설계서가 남아 있음
다음 편	처음부터	설계서 복사해서 내용만 교체

설계서는 이렇게 생겼습니다. 어려워 보이지만, 실제로 제가 손대는 건 따옴표 안의 문장뿐입니다.

{
  "segments": [
    { "src": "ready/06_hand.mp4",  "dur": 3 },
    { "src": "ready/08a_cmd.mp4",  "dur": 3 }
  ],
  "captions": [
    { "seg": 0, "style": "hook", "text": "이 영상, 제가 편집한 게 아닙니다" },
    { "seg": 1, "style": "emph", "text": "편집기 대신 명령어 한 줄" }
  ]
}

“자막 문구가 마음에 안 든다” 싶으면 그 줄만 고쳐서 다시 실행합니다. 1분이면 새 영상이 나옵니다. 편집 프로그램에서 이걸 하려면 다시 열고, 그 자막을 찾고, 앞뒤 길이를 다시 맞춰야 합니다.

실패 1 — 내레이션이 안 들렸습니다

완성된 영상을 재생했는데 음악만 들리고 목소리가 거의 없었습니다. 볼륨을 올려도 마찬가지였습니다.

원인은 소리를 합치는 방식이었습니다. 음성 파일 여러 개와 음악을 한꺼번에 섞을 때, 프로그램이 “소리가 터지지 않게” 입력 개수만큼 볼륨을 자동으로 나눠버립니다. 제 영상은 음성 조각이 15개였으니 각각 15분의 1이 된 셈입니다.

해결: 자동으로 나누는 기능을 끄고(normalize=0), 대신 마지막에 한 번만 최대 음량을 눌러주도록 바꿨습니다.

배운 것: 소리가 이상하면 볼륨 값이 아니라 합치는 방식을 먼저 의심합니다.

실패 2 — 중간부터 소리가 사라졌습니다

이번엔 앞부분은 잘 들리는데 3초쯤부터 끝까지 무음이었습니다.

소리를 합칠 때 “언제까지 이어붙일지”를 정하는 값이 있는데, 기본값이 가장 먼저 끝나는 소리 기준이었습니다. 첫 문장이 3.4초였으니 거기서 오디오 전체가 끝나버린 겁니다.

해결: “가장 긴 것 기준”으로 바꿨습니다(duration=longest).

배운 것: 이런 건 눈으로 안 보입니다. 그래서 완성 후 소리 크기를 자동으로 측정하는 검사를 넣었습니다. 지금은 만들 때마다 전 구간 음량이 숫자로 나옵니다.

실패 3 — 화면이 자막과 따로 놀았습니다

“편집 프로그램은 열지도 않았습니다”라는 자막 아래에, 게임 화면이 깔려 있었습니다. 규격만 확인하고 내용을 안 본 탓입니다.

앞서 한 번은 더 심했습니다. “개발 한 줄 안 배웠습니다”라는 자막에 음악용으로 만들어둔 카페 그림을 깔았습니다. 보기엔 예뻤지만, 보는 사람 입장에선 무슨 말인지 알 수 없는 화면이었습니다.

해결: 영상이 완성되면 자막이 바뀌는 지점마다 사진을 자동으로 저장하게 했습니다. 발행 전에 그 사진들을 전부 눈으로 봅니다.

판정 기준은 한 문장입니다. “소리를 끄고 화면만 봐도 자막 내용이 짐작되는가?” 이번 편에서도 이 검사에서 한 컷이 걸렸고, 그래서 게임 화면을 뺐습니다.

실패 4 — 5분이 지나도 안 끝나는 줄 알았습니다

화면 녹화를 하면서 실행했더니, 아무 반응 없이 멈춘 것처럼 보였습니다. 5분을 기다리다 중단했습니다.

실제로는 66초 만에 정상 완료되고 있었습니다. 원인이 세 개 겹쳐 있었습니다.

화면 녹화와 영상 만들기가 같은 자원을 써서 2~3배 느려짐
한글 특수문자(①②③) 출력이 실패해 처음부터 다시 실행됨
진행 상황이 실시간으로 안 보여서 멈춘 것처럼 보임

해결: 2번과 3번은 프로그램을 고쳤습니다. 이제 ① 클립 정규화 → 1/7 → 2/7 …이 한 줄씩 올라옵니다.

배운 것: “멈췄다”고 판단하기 전에 진행 표시가 있는지부터 봅니다. 없으면 그건 프로그램의 문제입니다.

지금 만드는 순서

쓸 장면을 골라 세로 크기로 맞춰 둡니다
설계서에 자막 문구와 읽을 문장을 적습니다
실행합니다 — 목소리를 먼저 만들고, 읽는 시간에 맞춰 화면 길이를 자동으로 계산합니다
저장된 검사용 사진을 전부 봅니다
어긋난 곳이 있으면 설계서의 그 줄만 고쳐 다시 실행합니다

3번 덕분에 침묵 구간이 사라졌습니다. 처음 만든 영상은 57초 중 12.8초가 빈 소리였는데, 지금은 29초 중 2초입니다.

이 방식이 맞지 않는 경우

솔직하게 적습니다.

감각적인 편집이 필요한 영상 — 박자에 맞춰 컷을 넘기거나 하는 건 이 방식으로 못 합니다
한 편만 만들 때 — 설계서를 만드는 시간이 더 듭니다. 반복해서 만들 때 이득입니다
찍는 일은 그대로 남습니다 — 자동으로 되는 건 조립이지 촬영이 아닙니다

저는 매주 한 편씩 올리기로 해서 이 방식을 골랐습니다. 한 번 만들어두니 다음 편은 설계서를 복사해서 문장만 바꿉니다.

정리

편집을 배우는 대신, 조립을 대신해주는 도구를 만들었습니다
좋아진 건 속도보다 고치기 쉬워진 것입니다. 설계서의 한 줄만 바꾸면 됩니다
실패 네 번은 전부 검사 절차로 바꿔서 남겼습니다. 같은 실수를 두 번 하지 않으려고요
코딩은 여전히 모릅니다. 무엇이 잘못됐는지 말로 설명할 수 있으면 고칠 수 있었습니다

만드는 과정이 궁금하시면, 이번 편 영상 자체가 그 결과물입니다.

처음 시작하실 분께

AI에게 무엇부터 어떻게 부탁하면 되는지 한 장으로 정리한 무료 시작 키트가 있습니다.

→ 무료 시작 키트 받기