차세대 신경망 | NVIDIA Research, NeurIPS

NVIDIA 연구원들은 생성 AI , 로봇공학, 자연 과학을 발전시키기 위해 전 세계 학술 센터와 협력하고 있으며, 이러한 프로젝트 중 12개 이상 이 세계 최고의 AI 컨퍼런스 중 하나인 NeurIPS 에서 공유될 예정입니다.

 

12월 10일부터 16일까지 뉴올리언스에서 열리는 NeurIPS는 생성 AI, 머신러닝, 컴퓨터 비전 등의 전문가를 한 자리에 모았습니다. NVIDIA Research가 선보일 혁신 중에는 텍스트를 이미지로, 사진을 3D 아바타로, 특수 로봇을 다재다능한 기계로 변환하는 새로운 기술이 있습니다.

 

학습 및 담당 부사장인 Jan Kautz는 “NVIDIA Research는 텍스트를 이미지나 음성으로 변환하는 생성 AI 모델, 새로운 작업을 더 빠르게 학습하는 자율 AI 에이전트, 복잡한 물리학을 계산하는 신경망 등 다양한 분야에서 지속적으로 발전을 이루고 있습니다.”라고 말했습니다. NVIDIA의 인식 연구. "종종 학계의 선도적인 사람들과 협력하여 수행되는 이러한 프로젝트는 가상 세계, 시뮬레이션 및 자율 기계 개발자를 가속화하는 데 도움이 될 것입니다."

 

텍스트-이미지 확산 모델 개선 확산

모델은 텍스트를 사실적인 이미지로 변환하는 가장 인기 있는 생성 AI 모델 유형이 되었습니다. NVIDIA 연구원들은 NeurIPS에서 발표될 확산 모델을 발전시키는 여러 프로젝트에서 대학과 협력했습니다.

 

• 구두 프레젠테이션으로 채택된 논문은 텍스트 프롬프트의 수식어와 주요 엔터티 사이의 연결을 이해하는 생성 AI 모델의 능력을 향상시키는 데 중점을 두고 있습니다 . 노란 토마토와 빨간 레몬을 묘사하도록 요청받은 기존 텍스트-이미지 모델은 노란 레몬과 빨간 토마토의 이미지를 잘못 생성할 수 있지만, 새로운 모델은 사용자 프롬프트의 구문을 분석하여 엔터티와 수정자 간의 유대를 장려합니다. 프롬프트를 더욱 충실하게 시각적으로 표현합니다.
• 텍스트 프롬프트에서 3D 장면의 긴 비디오를 생성하기 위해 확산 모델을 사용하는 새로운 프레임워크인 SceneScape가 포스터로 발표됩니다. 이 프로젝트는 텍스트-이미지 모델과 깊이 예측 모델을 결합하여 비디오가 프레임 간 일관성을 유지하면서 그럴듯해 보이는 장면을 유지하도록 도와 미술관, 유령의 집, 얼음 성(위 그림)의 비디오를 생성합니다.
• 또 다른 포스터에서는 텍스트-이미지 모델이 학습 데이터에서 거의 볼 수 없는 개념을 생성하는 방식을 개선하는 작업을 설명합니다 . 이러한 이미지를 생성하려고 시도하면 일반적으로 사용자의 메시지와 정확하게 일치하지 않는 품질이 낮은 시각적 결과가 생성됩니다. 새로운 방법은 모델이 좋은 시드를 식별하는 데 도움이 되는 작은 예시 이미지 세트(AI가 지정된 희귀 클래스에서 이미지를 생성하도록 안내하는 난수 시퀀스)를 사용합니다.
• 세 번째 포스터는 텍스트-이미지 확산 모델이 불완전한 포인트 클라우드의 텍스트 설명을 사용하여 누락된 부분을 생성하고 객체의 완전한 3D 모델을 생성하는 방법을 보여줍니다. 이는 로봇 공학 및 자율 차량 AI 애플리케이션을 위한 LiDAR 스캐너 및 기타 깊이 센서가 수집한 포인트 클라우드 데이터를 완성하는 데 도움이 될 수 있습니다. 물체가 특정 각도에서 스캔되기 때문에 수집된 이미지는 불완전한 경우가 많습니다. 예를 들어 차량에 장착된 LiDAR 센서는 자동차가 거리를 주행할 때 각 건물의 한쪽 면만 스캔합니다.

 

캐릭터 개발: AI 아바타의 발전

AI 아바타는 여러 생성 AI 모델을 결합하여 가상 캐릭터를 생성 및 애니메이션하고, 텍스트를 생성하고, 이를 음성으로 변환합니다. NeurIPS의 두 NVIDIA 포스터는 이러한 작업을 보다 효율적으로 만드는 새로운 방법을 제시합니다.

• 포스터는 헤어스타일과 액세서리를 포함한 세부 사항을 캡처하면서 단일 인물 이미지를 3D 머리 아바타로 바꾸는 새로운 방법을 설명합니다. 여러 이미지와 시간이 많이 소요되는 최적화 프로세스가 필요한 현재 방법과 달리 이 모델은 추론 중에 추가 최적화 없이 충실도가 높은 3D 재구성을 달성합니다. 아바타는 다양한 얼굴 표정을 표현하는 데 사용되는 3D 메시 표현인 블렌드 셰이프를 사용하거나 사람의 얼굴 표정과 동작이 아바타에 적용되는 참조 비디오 클립을 사용하여 애니메이션을 적용할 수 있습니다.
• NVIDIA 연구원과 대학 협력자들이 제작한 또 다른 포스터는 3초의 참조 프롬프트가 주어지면 고품질 개인화된 음성을 신속하게 합성 할 수 있는 생성 AI 모델인 P-Flow를 사용하여 제로샷 텍스트 음성 변환 합성을 향상시킵니다. P-Flow는 최신 최첨단 제품에 비해 더 나은 발음, 인간 유사성 및 화자 유사성을 특징으로 합니다. 이 모델은 단일 NVIDIA A100 Tensor Core GPU 에서 텍스트를 음성으로 거의 즉시 변환할 수 있습니다 .

 

강화 학습, 로봇공학 분야의 연구 혁신

강화 학습과 로봇 공학 분야에서 NVIDIA 연구원들은 다양한 작업과 환경에서 AI의 일반화 가능성을 향상시키는 혁신을 강조하는 두 개의 포스터를 선보일 예정입니다.

• 첫 번째는 경사 편향 및 데이터 비효율성의 일반적인 함정을 피하면서 새로운 작업에 적응할 수 있는 강화 학습 알고리즘을 개발하기 위한 프레임워크를 제안합니다 . 연구원들은 모든 메타 강화 학습 모델 의 강력한 버전을 생성할 수 있는 새로운 메타 알고리즘을 특징으로 하는 그들의 방법이 여러 벤치마크 작업에서 좋은 성능을 발휘한다는 것을 보여주었습니다.
• NVIDIA 연구원과 대학 협력자들의 또 다른 연구에서는 로봇 공학의 객체 조작 문제를 다루고 있습니다 . 로봇 손이 물체를 집어 들고 상호 작용하는 데 도움이 되는 이전 AI 모델은 특정 모양을 처리할 수 있지만 훈련 데이터에 표시되지 않는 물체에는 어려움을 겪습니다. 연구원들은 비슷한 손잡이가 있는 서랍이나 냄비 뚜껑과 같이 서로 다른 카테고리에 걸쳐 객체가 기하학적으로 얼마나 유사한지 추정하는 새로운 프레임워크를 도입하여 모델이 새로운 모양으로 더 빠르게 일반화될 수 있도록 합니다.

 

슈퍼차징 과학: AI 가속 물리학, 기후, 의료

NeurIPS의 NVIDIA 연구원들은 물리학 시뮬레이션, 기후 모델, 의료용 AI를 다루는 자연과학 전반에 걸친 논문도 발표할 예정입니다.

• 대규모 3D 시뮬레이션을 위한 전산유체역학을 가속화하기 위해 NVIDIA 연구진은 정확성과 전산 효율성을 결합하여 차량 주변의 압력장을 추정하는 신경 연산자 아키텍처를 제안했습니다. 이는 업계 최초의 딥러닝 기반 전산유체역학 방법입니다. 표준, 대규모 자동차 벤치마크. 이 방법은 단일 NVIDIA Tensor Core GPU 에서 다른 GPU 기반 솔버에 비해 100,000배 가속을 달성하는 동시에 오류율을 줄였습니다. 연구자들은 오픈 소스 Neuraloperator 라이브러리를 사용하여 모델을 자체 애플리케이션에 통합할 수 있습니다 .

• 대학, 국립 연구소, 연구 기관, Allen AI 및 NVIDIA의 기후 과학자 및 기계 학습 연구자 컨소시엄은 NeurIPS에서 구두 프레젠테이션을 통해 공유될 물리학 및 기계 학습 기반 기후 연구를 위한 대규모 데이터 세트인 ClimSim 에 대해 협력했습니다. 데이터 세트는 수년에 걸쳐 고해상도로 전 세계를 포괄하며, 해당 데이터를 사용하여 구축된 기계 학습 에뮬레이터는 기존 운영 기후 시뮬레이터에 연결하여 충실도, 정확성 및 정밀성을 향상시킬 수 있습니다. 이는 과학자들이 폭풍 및 기타 극한 현상에 대해 더 나은 예측을 하는 데 도움이 될 수 있습니다.
• NVIDIA 연구 인턴들은 약물 투여량이 환자에게 미치는 영향에 대한 맞춤형 예측을 제공하는 AI 알고리즘을 소개하는 포스터를 선보이고 있습니다 . 연구진은 실제 데이터를 사용하여 다양한 용량의 치료를 받은 환자의 혈액 응고에 대한 모델의 예측을 테스트했습니다. 그들은 또한 약물을 투여받은 환자의 항생제 반코마이신 수치에 대한 새로운 알고리즘의 예측을 분석하여 예측 정확도가 이전 방법에 비해 크게 향상되었음을 발견했습니다. NVIDIA Research는 전 세계적으로 수백 명의 과학자와 엔지니어로 구성되어 있으며, AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행차, 로봇공학 등의 주제에 초점을 맞춘 팀이 있습니다.