@me사람이 작성

영상 컷편집 제작 공정 후기

결국 문제는 라스트마일..

0. 들어가며

요즘은 토큰 맥싱보단 '제로 토큰 아키텍쳐'가 유행인 것 같다. 지금이 딱 ai agent가 일시적인 '캐즘'(쓸 사람들은 다 쓰고 있고 대중적으로 쓰이기엔 불편함이 있어 유입이 없는 상황)에 빠져있어 지금 당장 사용하는 토큰을 아끼는 법과, 기존에 토큰보다 비싼 무언가(인건비 또는 기계/전자제품)을 어떻게 하면 적은 토큰으로 대체할 수 있을까에 대한 사회에서의 연구를 필요로 하는 상황이다.

나는 1명의 한국 사람, 고딩(2019년)때부터 주식 계좌를 개설해 나름 올해로 7년자 트레이더인 내 관점에서 결국 ai를 빠르게 도입해서 사용하고 있는 사람들이 생산성 늘어난 것을 기반으로 이것저것 자체적으로 실험하는 것이 중요하단 생각이 들었다.

youtube
YouTube 동영상
원문 보기

위 영상을 보면, 현대 경제학 주류 의견은 데이터센터 백날 늘려봐야 분배 이전에 성장에도 천장이 있고 ai의 과실이 교육과 자본으로 강하게 유입돼야 세계 경제가 성장한다는 것이 주류 의견이다. (2018년 노벨 경제학상 수상)

1. 그래서 나는 무엇을 하고 있냐??

2026년 7월 27일 마침 잠도 안 오고 하나의 '찍 싸는 바이브코딩' 이 아닌 추후 ai 안 써도 남들보다 높은 생산성으로 무언가를 생산하는 그런 프로젝트를 하고 싶다는 생각이 들었다. 그 때 '내가 잘 할 수 있는 도메인지식이 뭐가 있을까' 고민을 몇년만에 엄청 깊게 해본 것 같다. 원래 보통 이런 고민을 하면 마치 옛날 메이플스토리 모험가 직업 고르듯 한 번 정하면 되돌리기 힘든 심도깊은 고민이 되기 마련이지만 '코덱스' 형님들 덕분에 가볍게 이런 고민을 할 수 있었다.

마침 내가 나름 박사라고 할 수 있는 분야가 생각났다. 본인은 한국에 버츄얼 유튜버가 제대로 생기기 전부터 일본 버튜버를 봤었다.

youtube
YouTube 동영상
원문 보기
길바닥 시절 옛날 스이세이 오리곡들이 진짜 좋단말이지..

버츄얼 유튜버 산업에는 '키리누키'라는 좋은 문화가 있다. 버튜버가 하는 생방송을 자유롭게 시청자가 따서 컷편집을 해 본인의 유튜브 채널에 올리는 것이 가능하다.(약관이 많이 다른데 수익창출을 허용하는 경우도 요즘들어 많이 생기고 있음.)

최근에 코덱스 쓰면서 주변사람들이 컴퓨터 고쳐달라는 부탁할 때도 컴퓨터에 코덱스 깔아서 코덱스한테 '모든 권한 주는거 동의' 한 다음에 고쳐달라하면 사람보다 훨씬 잘 고쳐주고 오히려 사람보다 믿을만하다는 이야기를 많이 설파하고 있는데, 한 번 코덱스와 내가 루프를 돌아가면서 '단순 키리누키를 llm으로 만드는 것이 아닌, 키리누키 만드는 공정을 효율적으로 만들고 이 노하우들 오픈소스로 공개까지 해보자' 라는 생각을 했다.

2. 만든 편집기

나에게 맞춰진 uiux를 쓰기에 공개된 소프트웨어지만 따로 가오잡고 레포만들고 하진 않았습니다. 혹시 여러분들이 비슷하게 자신에게 최적화된 영상편집 소프트웨어 만드신다면 제 깃허브 레포 링크를 클로드/코덱스에 프롬프트로 넣어서 레퍼런스 삼아서 만들어달라 하는거 추천드립니다.

위 줄글 누르면 내 깃허브 레포로 연결되는데, 양식은 크롬 익스텐션이며 영상 편집할 때 필요할 간단한 기능들이 좀 있다.

먼저 치지직 생방송에서 컷 타임스태프를 기억해두는 아키텍쳐를 구현해놨다.

image.png

영상의 컷신으로써 쓰일 장면을 기록해둔 뒤에 다시보기 vod가 올라오면 바로 그 컷신이 흡수되어 자막붙이고 에셋붙이는 것을 할 수 있는 형태로 이 프로그램은 구현되어 있다.

image.png

whisper tiny는 자막 수율이 10%도 안 되고 대놓고 '자막은 편집하는 사람이 한 번 검수해봐라' 의 느낌으로 부족하지만 위치 캡션정도만 잡아주는 용도로 모델을 넣었다.

내가 좀 나사가 빠져있는 형태로 산출물이 완성된걸 나름 만족하고 굴리는게, 지금 집 컴퓨터의 램이 8기가이다. 예전에 8기가 2개가 꽂혀있였는데 램가격 오르는거에 당근으로 팔았다..... 따라서 지금 내 컴퓨터로 어도비같은 공개 편집기를 사용한다면 고사양윈도우/맥북에 최적화된 그런 상용 소프트웨어 특성상 작업이 불가능수준에 가까울 것이다...

3. 만든 첫 영상

youtube
YouTube 동영상
원문 보기

그렇게 4시간정도 human in the loop를 통해 엘리라는 대한민국 치지직에서 활동하는 버튜버의 키리누키 영상 하나를 만들어봤다. 평소엔 오만가지 치지직 버튜버들 저챗만 빨고 다니는 저챗닌자이지만 거의 1년만에 '완방'이라는 것을 해본 것 같다..

처음으로 평소에 영상편집이란걸 한 번도 안 해본 사람이 12분짜리 유튜브 영상을 만드는데 5시간이 들었다. 이거 자체가 엄청난 혁명이라 생각하고 나도 human in the loop를 계속 돌려 공정을 개선한다면 2시간 이하로 ai 토큰 비용 없이 롱폼 키리누키를 찍어낼 수 있어서 좋다.

만들면서 가장 어려웠던 점은 혹시나도 요새 뉴스에 나오는거처럼 음흉한 음지커뮤 관련 시비가 붙는거 관련된 두려움이였고(세상이 이상해졌어).... 보통 수익창출을 하며 키리누키를 굴리고 싶어하는 사람이 많은데 난 여차하면 키리누키 접기 쉽게 수익창출 없는 rp(role play라는 뜻입니다)를 지향하고 있어서 이 지점에선 마음이 편했다. 아마 다양한 버튜버들의 영상들을 키리누키 정책 준수 빡세게 하면서 취미로 많이많이 올려보고 싶다.