이미지나 텍스트로 비디오 생성하는 AI '런웨이(Runway)'

인공지능이 인기를 끌면서 대화형 ai에 이어 이미지와 음악을 생성해 주는 ai도 등장했습니다.

그리고 최근 런웨이 ML(RunwayML)라는 회사에서 비디오 생성 AI '런웨이(Runway)를 출시하면서 큰 주목을 받고 있습니다.

런웨이의 창업자들은 이미지 생성프로그램으로 유명한 '스테이블 디퓨전'의 개발에도 참여했을 정도로 전문성을 인정받고 있습니다.

런웨이는 다양한 영상편집 기능들을 제공했고 2023년 2월에는 영상 생성 AI 모델인 Gen-1을 출시했습니다.

 

Gen-1(1세대)은 특정 이미지와 프롬프트를 이용해 새로운 영상을 만들거나 특정 영상을 소스로 이용해 새로운 영상으로 변환할 수 있습니다.

 

 

한 예로 걸어가는 사람의 영상을 Runway Gen-1(Video-toVideo)서 불러온 후 프롬프트에 'Claymation Style'이라고 입력합니다.

그럼 실제 사람의 모습이 클레이 애니메이션속 인형처럼 바뀌면서도 원본처럼 움직이는 영상으로 변환됩니다.

이렇게 원본 영상에 텍스트 프롬프트를 적용해 원하는 스타일의 영상으로 변환할 수도 있으며 원본 영상에 이미지 프롬프트를 적용하면 그 이미지 스타일대로 변형된 새로운 영상이 만들어집니다.

아래 예시처럼 눈위를 달리는 사람 영상에 달 위에 있는 우주인이미지를 적용한 결과 달 위를 점프하며 이동하는 우주인의 영상으로 변환됩니다.

그 외에도 원본 영상에 다른 이미지 프롬프트를 적용하면 두 소스가 합쳐진 새로운 영상으로 만들어집니다.

그리고 Runway는 달리는 전철 배경 영상을 만화 배경 영상처럼 만들어주는 예시도 보여주는데 이 기능을 이용하면 실제로 단편 애니메이션 제작에도 활용될 수 있어 보입니다.

 

Runway Gen-2

Runway는 현재 Gen-1를 꾸준히 업데이트하고 있으며 최근에는 더 업그레이드된 Gen-2 베타를 출시했습니다.

기본 소스 영상이 필요했던 Gen1과 달리 Gen2는 텍스트 프롬프트만으로도 영상을 만들 수 있는 모델로 큰 주목을 받고 있습니다.

아직 모든 사용자들에게 공개되지는 않았지만 일부 테스터들의 결과물이 SNS를 통해 공개되기도 했습니다.

 

 

아래 영상은 공식 홈페이지에서 공개한 Gen-2 로 생성한 결과물로 텍스트로만 생성한 영상입니다.

프롬프트 : Aerial drone footage of a mountain range. (산맥을 촬영한 공중 드론 영상)

아래 영상 역시 Gen-2에서 텍스트 프롬프트로만 만들어진 영상입니다.

프롬프트 : The late afternoon sun peeking through the window of a New York City loft.

(뉴욕의 한 아파트 창문 사이로 엿보는 늦은 오후의 햇살)

 

현재 Runway Gen-1은 물론 일부 테스터들은 Gen-2로 다양한 실험을 하고 있습니다.

아래 영상은 트위터 사용자 'ChristianF'가 만든 'The Great Catspy (위대한 캣스파이)'라는 제목의 영상으로 영화 '위대한 개츠비'를 참고해 만들었습니다.

이 사용자는  Runway Gen-2 베타버전의 텍스트로 제작(장면 하나는 Gen-1)했으며 영상편집은 어도비 프리미어에서 작업했다고 밝혔습니다.

그리고 영상제작에 필요한 스크립트는 챗GPT를 활용했고 음악 및 사운드는 'MotionArray', 음성은 'Elevenlabs'로 생성했다고 말했습니다.

이렇게 비디오 생성 AI로 기본적인 영상을 만들수 있다고 해도 원하는 결과물을 얻기 위해서는 다른 다양한 서비스를 함께 이용하기도 합니다.

자신이 원하는 영상을 만들기위해서는 실제 이미지 자료나 미드저니에서 생성한 이미지를 활용하기도 하고 영상에 필요한 스크립트는 챗GPT의 도움을 받기도 합니다.

그 외 사운드, 이펙트, 음성 생성도 각각 관련된 서비스를 이용합니다. 

 

 

영상 생성 AI로 만들어진 영상은 아직까지는 디테일이 부족하고 개선되어야 할 부분도 많습니다.

그러나 Runway 초기 버전에서 만든 영상들이나 'ModelScope Text-to-Video'에서 만든 스파게티 먹는 윌스미스 영상처럼 보기힘들고 기괴하게 보이는 결과물에 비하면 Runway는 조금씩 개선된 디테일을 보여주고 있습니다.

 

Runwayml의 Gen-2는 4월 21일부터 베타 테스트 중이며 몇 주안에 일반사용자들도 사용할 수 있게 하겠다고 밝혔습니다.

Runwal의 Gen-1은 현재 https://runwayml.com/ 사이트에서 무료로 이용해볼수 있으며 아이폰의 경우 앱스토어에서 https://apps.apple.com/us/app/runwayml/id1665024375 다운받아 사용해 볼 수 있습니다.

 

AI 매직 도구

런웨이는 비디오를 생성하는 서비스 외에도 영상을 다양하게 편집할 수 있는 30가지의 도구를 제공하고 있습니다.

1. Video to Video(Gen-1) : 단어와 이미지를 사용해 기존 영상에서 새로운 영상 생성
2. Text to Image : 텍스트로 이미지 만들기
3. Erase and Replace : 특정부분을 지우고 교체
4. Text to Color Grade : 텍스트로 비디오 색상 등급 지정
5. Super-Slow Motion : 슬로우모션 비디오로 변환
6. Image to Image : 텍스트로 기존 이미지 수정
7. Infinite Image : 원본 캔버스 외부에 이미지 생성해 확장
8. Frame Interpolation : 이미지를 영상으로 만들기
9. Train your own Generator (AI Training) : 동일 인물의 여러 사진으로 독창적인 캐릭터 만들기 
10. Text to 3D Texture : 텍스트로 3D 텍스처 만들기
11. Image Variation : 이미지 변형
12. Colorize : 흑백이미지 컬러로 바꾸기
13. Blur-Faces : 영상에서 사람얼굴 자동으로 블러처리
14. Remove Silence : 무음 부분 제거
15. Generate Transcript : 음성 콘텐츠로 SRT 생성
16. Generate Subtitles : 음성콘텐츠에서 자막 생성
17. Blur Background : 비디오 배경 흐리게 처리
18. Replace Background : 영상의 배경 자동으로 교체
19. Remove Background : 배경을 자동으로 제거
20. Export Alpha Matte : 비디오용 알파 매트 생성
21. Add Green Background : 녹색 배경 추가
22. Extract Depth :비디오의 깊이 맵을 자동으로 생성
23. Backdrop Remix : 피사체 유지하면서 배경만 변경
24. Inpainting : 영상에서 사람이나 사물 제거
25. Bokeh : 비디오에 보케효과 추가
26. Clean Audio : 배경 소음 제거
27. Upscale Image : 이미지 해상도 향상
28. Motion Tracking : 개체를 자동으로 추적
29. Expand Image : 이미지의 바깥 부분을 새로운 종횡비로 확장
30. Scene Detection : 비디오 장면을 자동으로 분할

 

음악 생성 AI 'Soundraw'로 음악 만들기

아수스의 휴대용 게임기 'ROG Ally', 스팀덱과 비교