NVIDIA AI 모든 카메라 성능 캡처 가능

NVIDIA 카메라 성능 캡처

NVIDIA AI는 모든 카메라에서 성능 캡처를 가능하게 합니다.

Derivative, Notch, Pixotope 등은 NVIDIA Vid2Vid Cameo 및 3D 신체 포즈 추정 도구를 사용하여 실시간으로 성능을 구동합니다.

 

NVIDIA AI 도구는 시각 효과 및 애니메이션 스튜디오, 크리에이티브 전문가, 심지어 카메라를 가지고 있는 모든 애호가까지 모든 수준의 제작자를 위한 딥 러닝 기반 성능 캡처를 가능하게 합니다. NVIDIA Vid2Vid Cameo 를 사용하면 제작자는 AI를 활용하여 전문 카메라나 스마트폰으로 촬영한 표준 2D 비디오에서 얼굴 움직임과 표정을 캡처할 수 있습니다.

 

퍼포먼스는 실시간으로 아바타, 캐릭터 또는 그림에 적용할 수 있습니다. 또한 3D 신체 포즈 추정 소프트웨어를 사용하여 제작자는 걷기, 춤, 무술 수행과 같은 전신 동작을 캡처하여 AI로 가상 캐릭터에 생명을 불어넣을 수 있습니다.

 

3D 경험이 없는 개인을 위해 이러한 도구를 사용하면 스마트폰 영상을 사용하는 경우에도 창의적인 프로젝트에 쉽게 애니메이션을 적용할 수 있습니다. 전문가는 한 단계 더 나아가 포즈 추정과 Vid2Vid Cameo 소프트웨어를 결합하여 라이브 스트림 또는 애니메이션 프로젝트를 위해 자신의 움직임을 가상 캐릭터로 전송할 수 있습니다.

 

그리고 크리에이티브 스튜디오는 컨셉 디자인이나 사전 시각화를 위해 AI 기반 퍼포먼스 캡처를 활용하여 디지털 캐릭터에서 특정 움직임이 어떻게 보이는지 빠르게 전달할 수 있습니다.

 

NVIDIA, Vid2Vid Cameo로 성능 캡처 시연

NVIDIA AI Playground 의 데모를 통해 사용할 수 있는 NVIDIA Vid2Vid Cameo 는 두 가지 요소만 있으면 됩니다. 즉, 애니메이션으로 만들 아바타 또는 그림의 정지 이미지와 말하거나 노래하거나 움직이는 원본 출연자의 영상 등 두 가지 요소만 있으면 됩니다.

 

머리. GAN(Generative Adversarial Networks ) 을 기반으로 모델은 얼굴 움직임을 매핑하여 실시간 모션을 캡처하고 해당 모션을 가상 캐릭터로 전송합니다. 180,000개의 비디오에 대해 교육을 받은 이 네트워크는 눈, 입, 코, 눈썹 등의 위치를 ​​인코딩하여 얼굴 동작을 모델링하는 20개의 핵심 포인트를 식별하는 방법을 배웠습니다.

 

이 포인트는 출연자의 비디오 스트림에서 추출되어 아바타 또는 디지털 캐릭터에 적용됩니다. Edgar Allan Poe의 "Sonnet - to Science" 공연을 예술가 Gary Kelley 의 작가 초상화로 옮기는 아래 데모에서 작동 방식을 확인하십시오.

 

비주얼 플랫폼, NVIDIA의 Vid2Vid Cameo, 포즈 추정 통합

Vid2Vid Cameo가 상세한 얼굴 표정을 캡처하는 동안 포즈 추정 AI는 전신의 움직임을 추적합니다. 이는 복잡한 동작을 수행하거나 디지털 장면을 이동하는 가상 캐릭터로 작업하는 제작자를 위한 핵심 기능입니다.

 

포즈 추적기 는 NVIDIA Omniverse 3D 설계 협업 및 세계 시뮬레이션 플랫폼 에서 확장으로 사용할 수 있는 컨볼루션 신경망 모델 입니다. 이를 통해 사용자는 푸티지를 업로드하거나 라이브 비디오를 모션 소스로 스트리밍하여 실시간으로 캐릭터를 애니메이션할 수 있습니다. 크리에이터는 NVIDIA Omniverse 를 무료로 다운로드하고 단계별 튜토리얼을 시작할 수 있습니다 .

 

성능 캡처를 위해 NVIDIA AI를 제품에 통합한 회사는 다음과 같습니다.

 

• 노드 기반 실시간 시각 개발 플랫폼인 TouchDesigner의 제조사인 Derivative 는 사용하기 쉬운 안면 추적을 제공하는 방법으로 Vid2Vid Cameo를 구현했습니다.
  
  
• 3D, 시각 효과 및 라이브 이벤트 영상을 위한 실시간 그래픽 도구를 제공하는 회사인 Notch 는 NVIDIA의 신체 포즈 추정 AI를 사용 하여 아티스트가 무대 설정을 단순화할 수 있도록 지원합니다. Notch 사용자는 맞춤형 하드웨어 추적 시스템에 의존하는 대신 표준 카메라 장비로 작업하여 실시간으로 3D 캐릭터 애니메이션을 제어할 수 있습니다.
  
  
• 선도적인 가상 프로덕션 회사인 Pixotope 는 NVIDIA AI 기반 실시간 인재 추적 을 사용 하여 라이브 프로덕션을 위한 대화형 요소를 구동합니다. 노르웨이에 기반을 둔 이 회사 는 최신 NVIDIA GTC에서 화면의 실제 요소와 가상 요소 간의 상호 작용을 가능하게 하는 작업을 공유했습니다.

8월 11일 목요일까지 진행되는 세계 최대 컴퓨터 그래픽 전문가 모임인 SIGGRAPH 에서 AI, 디지털 인간 및 가상 세계에 대한 NVIDIA의 최신 발전에 대해 자세히 알아보십시오 .