AI 기술은 우리의 상상력을 넘어서는 속도로 발전하고 있습니다. 최근에 OpenAI가 발표한 Sora는 이러한 혁신의 한 예로, 텍스트를 기반으로 하는 비디오 생성 기술을 선보였습니다. 이번 글에서는 Sora의 주요 기능과 오픈AI Sora 잠재적 활용 분야 11가지 대해서 알아보겠습니다.
• The prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.
이 공상 과학 단편은 실제와 같은 캐릭터와 특정 영화 스타일을 구현하는 능력을 보여주는 인상적인 작품으로, Sora 의 제너레이티브 능력이 돋보이는 작품 중 하나입니다.
‘무브 트레일러’를 지정하여 컷과 클로즈업이 포함되어 있으며, 내러티브의 일관성이 부족한 부분은 다른 텍스트-투-비디오 도구에 비해 품질과 일관성 면에서 보완되었습니다. 물론 사운드는 없지만 스토리보드와 브레인스토밍을 위한 도구로서는 이미 새로운 차원에 도달한 것으로 보입니다.
2. 사람이 등장하는 클립 제작
• The prompt: A instructional cooking session for homemade gnocchi hosted by a grandmother social media influencer set in a rustic Tuscan country kitchen with cinematic lighting
Meta와 Google이 텍스트-비디오 도구의 초기 사례를 선보인 지 18개월이 채 되지 않았지만, 위와 같은 Sora 동영상은 특히 사람이 등장하는 클립 제작에 있어 빠른 발전을 보여줍니다.
초기의 Google 이미지 클립은 사람과 동물을 피했지만, OpenAI의 CEO인 샘 알트먼이 요청에 따라 X(이전의 트위터)에 게시한 위의 예시는 사실적이고 선명한 디테일을 만들어낼 수 있음을 보여줍니다. 손도 상당히 사실적으로 표현되어 있지만, AI의 기원을 보여주기 위해 숟가락이 사라져 있습니다.
3. 픽사 스타일의 애니메이션 단편 제작
• The prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle (see post for full prompt).
Sora 가 제작한 이 영상은 AI가 제작한 동영상이 애니메이션을 대중화하고 상상력을 가진 모든 사람에게 개방할 수 있는 가능성을 보여줍니다. 놀랍도록 섬세한 털과 사실적인 촛불 반사가 돋보이는 픽사 스타일의 푹신한 괴물을 보여줍니다.
프롬프트가 길고 처리 시간은 알 수 없지만 애니메이션 스튜디오에서 사용하는 기존 프로세스보다 훨씬 짧을 것입니다. 픽사는 이전에 몬스터 주식회사에서 모피를 제작하는 힘든 과정에 대해 이야기한 적이 있으며, 오리지널 토이 스토리에서는 하루에 30초 미만의 영상만 렌더링할 수 있었으며 제작에 80만 기계 시간이 걸렸습니다.
4. 드론 촬영물 대체
• Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. (See post for full prompt).
텍스트-비디오 도구가 개인적인 추억을 담는 데 있어 최고의 드론을 대체할 수는 없습니다. 하지만 실제 위치를 대략적으로 추정할 수 있는 일반적인 스톡 항공 동영상이 필요하다면, 위의 Sora가 만든 예시를 통해 좋은 날씨를 보장하는 드론이 그 역할을 충분히 해낼 수 있다는 것을 알 수 있습니다.
이 영상에서 파도만이 인공지능으로 생성된 영상이라는 것을 알 수 있으며, 그마저도 자세히 봐야만 알 수 있습니다. 소셜 미디어에 올리기에 충분하며 아말피 해안의 또 다른 예는 그 품질이 일회성이 아님을 보여줍니다. 유일한 질문은 누구의 실제 항공 이미지로 학습되었느냐는 것입니다.
5. 과거 영상
• The prompt: Historical footage of California during the gold rush.
19세기 중반에도 드론이 있었을까요? 우리가 아는 바는 아니지만, 여기 Sora 는 골드러시 시절 캘리포니아에 DJI의 비행 카메라가 존재했다면 무엇을 촬영했을지 상상해볼 수 있는 아이디어를 제공합니다.
이 영상은 AI가 생성한 영상이 야생에 공개될 경우 역사적 사건에 대한 우리의 기억에 어떤 영향을 미칠 수 있는지에 대한 심각한 의문을 제기합니다.
그렇기 때문에 Open AI는 “탐지 분류기와 같은 오해의 소지가 있는 콘텐츠를 탐지하는 데 도움이 되는 도구를 구축하고 있다”고 말하며, 이를 통해 Sora 가 만든 동영상인지 여부를 알 수 있다고 말합니다.
6. 디테일이 섬세한 영상
• The prompt: Extreme close up of a 24 year old woman’s eye blinking, standing in Marrakech during magic hour, cinematic film shot in 70mm, depth of field, vivid colors, cinematic
풀프레임 카메라용 f/1.2 단렌즈와 텍스트-비디오 변환 도구에 투자한 모든 돈이 이 클립에 고스란히 녹아들어 있습니다. 물론 실제 사람, 이벤트, 추억을 담으려면 여전히 카메라가 필요하겠지만, 이 클립은 소라와 그 경쟁자들이 스톡 비디오 클립의 필요성을 다시 한 번 줄여줄 것이라는 데 의심의 여지가 없음을 보여줍니다.
눈의 움직임, 속눈썹, 사실적인 피부 모공, 마라케시의 석양에 반사되는 모습 등 모든 것이 매우 사실적입니다. 심지어 순간적인 초점 오류까지 시뮬레이션하는 것 같습니다.
지금까지 텍스트-비디오 생성기에서 이만큼 좋은 것은 본 적이 없으며, 앞으로 더 좋아질 것입니다.
7. 초현실적인 영상
• The prompt: A bicycle race on ocean with different animals as athletes riding the bicycles with drone camera view
이 첫 번째 샘플 클립에서 Sora의 가장 인상적인 점 중 하나는 다재다능한 기능입니다. 포토리얼리즘과 픽사 스타일의 애니메이션을 만들 수 있을 뿐만 아니라 두 가지를 결합하여 애니메이션을 만드는 데 몇 시간이 걸리는 초현실적인 클립을 만들 수도 있습니다.
바다를 배경으로 한 이 자전거 경주가 완벽하지는 않지만(공중에 매달린 돌고래가 왜 있는지는 명확하지 않습니다), 자전거를 타는 바다 생물도 완전히 부자연스러워 보이지는 않습니다. 적어도 GIF 게임의 수준이 몇 단계 올라간 것 만은 분명합니다.
8. 개인화된 게임 영상
• The prompt: the camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. (See post for full prompt).
Sora 는 위의 AI가 생성한 비디오처럼 사실적인 비디오 게임을 만들 수는 없지만, 게임 산업에 큰 영향을 미칠 수 있는 잠재력을 가지고 있는 것은 분명합니다. OpenAI의 한 논문에 따르면 비디오 게임을 렌더링하고 물리학을 학습하며 게임 세계를 만드는 데 도움을 줄 수 있다고 합니다.
Nvidia의 수석 연구원 Jim Fan 박사가 X(이전 트위터)에서 언급했듯이, Sora 는 단순히 Dall-E와 같은 이미지 생성기 그 이상입니다. “데이터 기반 물리 엔진”에 더 가까워서 물리학을 효과적으로 학습하고 사실적인 텍스트-3D 제작을 가능하게 합니다.
OpenAI의 논문에 따르면 “Sora 는 기본 정책으로 Minecraft에서 플레이어를 제어하는 동시에 세계와 그 역학을 충실하게 렌더링할 수 있다”고 합니다. 분명히 이것은 게임 잠재력의 시작에 불과합니다.
9. 크리에이티브한 광고
• The prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
Sora 의 사진처럼 사실적인 영상과 물리학에 대한 놀라운 이해는 광고를 포함한 다양한 분야에서 강력한 크리에이티브 무기가 될 수 있습니다.
이전에는 제한된 마케팅 예산으로, 스마트폰으로 만든 짧은 영상에 불과했다면 이제는 위와 같은 장면을 제작할 수 있게 되면서 YouTube 프리롤과 소셜 광고가 훨씬 더 초현실적이 될 것으로 예상됩니다.
10. 연출력
Sora 개발자인 Bill Peebles 는 위 영상을 X(이전 트위터)에 공유하며 “이 영상은 sora가 샷 변경 등을 통해 생성한 단일 영상”이라고 설명했습니다.
풍성한 유산을 누리는 듯한 동물들이 등장하는 ‘블링 동물원’을 생성하는 데 어떤 프롬프트가 사용되었는지는 정확히 알 수 없습니다. 다만, 영상은 Sora가 1분 동안 같은 시퀀스를 반복하는 것 이상으로 컷과 속도에 대한 이해가 있음을 보여줍니다. 아마추어 영화 제작자라면 누구나 이 영상을 보고 싶어 할 것입니다.
11. 한 단계 더 발전한 강아지 GIF
• The prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in.
OpenAI의 Sora 가 세상을 바꾸거나 업계를 변화시키는 것은 아니지만, 솔직히 GIF 게임의 임박한 가능성에 대해 기대가 큽니다.
Sora는 특히 개, 강아지, 고양이의 짧은 실제 사진 클립을 만드는 데 능숙한 것으로 보이며, 이미 인터넷에 이러한 클립이 부족한 것은 아니지만, Giphy가 부족한 부분을 채워줄 수 있는 이상적인 클립을 만들 수 있을 것으로 기대하고 있습니다.
맺음말
OpenAI의 Sora 는 AI 기술의 새로운 지평을 열고 있습니다. 텍스트를 기반으로 한 비디오 생성 기술은 우리의 상상력을 더욱 확장시키고 다양한 분야에서 혁신을 가져올 것으로 기대됩니다.
그러나 아직은 초기 단계에 있으며 더 많은 연구와 개발이 필요합니다. 그래도 우리는 Sora가 미래를 개척하는 데 중요한 역할을 할 것으로 기대합니다.
