NVIDIA 연구 혁신으로 로봇 학습에 새로운 변화

AI 에이전트는 LLM을 사용하여 로봇이 복잡한 작업을 수행하도록 훈련시키는 보상 알고리즘을 자동으로 생성합니다.

 

 

로봇에게 복잡한 기술을 가르칠 수 있는 엔비디아 리서치(NVIDIA Research) 가 개발한 새로운 AI 에이전트는 인간이 할 수 있는 것과 마찬가지로 처음으로 빠른 펜 회전 기술을 수행하도록 로봇 손을 훈련시켰습니다.

 

위 비디오에 표시된 놀라운 요령은 로봇을 훈련시키기 위해 보상 알고리즘을 자동으로 작성하는 Eureka 덕분에 로봇이 전문적으로 수행하는 방법을 배운 거의 30가지 작업 중 하나입니다.

 

유레카는 또한 로봇에게 서랍과 캐비닛을 열고, 공을 던지고 잡고, 가위를 조작하는 등의 작업을 가르쳤습니다.

 

오늘 발표된 Eureka 연구에는 개발자가 강화 학습 연구 를 위한 물리 시뮬레이션 참조 애플리케이션인 NVIDIA Isaac Gym을 사용하여 실험할 수 있는 논문과 프로젝트의 AI 알고리즘이 포함되어 있습니다 . Isaac Gym은 OpenUSD 프레임워크를 기반으로 3D 도구 및 애플리케이션을 구축하기 위한 개발 플랫폼인 NVIDIA Omniverse 를 기반으로 구축되었습니다. Eureka 자체는 GPT-4 대규모 언어 모델 로 구동됩니다.

 

“강화 학습은 지난 10년 동안 인상적인 승리를 거두었지만 여전히 시행착오 과정으로 남아 있는 보상 설계와 같은 많은 과제가 존재합니다.”라고 NVIDIA의 AI 연구 수석 이사이자 논문의 저자인 Anima Anandkumar는 말했습니다. 유레카 종이. "Eureka는 생성 학습과 강화 학습 방법을 통합하여 어려운 작업을 해결하는 새로운 알고리즘을 개발하기 위한 첫 번째 단계입니다."

 

 

 

AI가 로봇을 훈련시키다!

논문에 따르면 로봇의 시행착오 학습을 가능하게 하는 유레카 생성 보상 프로그램은 작업의 80% 이상에서 전문가가 인간이 작성한 보상 프로그램보다 뛰어난 성능을 발휘합니다. 이로 인해 봇의 평균 성능이 50% 이상 향상됩니다.

 

 

 

AI 에이전트는 GPT-4 LLM과 생성 AI를 활용하여 강화 학습을 위해 로봇에 보상을 제공하는 소프트웨어 코드를 작성합니다. 작업별 프롬프트나 사전 정의된 보상 템플릿이 필요하지 않으며 사람의 피드백을 쉽게 통합하여 개발자의 비전에 더욱 정확하게 부합하는 결과에 대한 보상을 수정합니다.

 

Eureka는 Isaac Gym의 GPU 가속 시뮬레이션을 사용하여 보다 효율적인 교육을 위해 대규모 보상 후보 배치의 품질을 신속하게 평가할 수 있습니다.

 

그런 다음 Eureka는 교육 결과에서 주요 통계 요약을 구성하고 LLM에 보상 기능 생성을 개선하도록 지시합니다. 이런 방식으로 AI는 스스로 개선됩니다. 4족 보행, 2족 보행, 4회전 로봇, 능숙한 손, 협동로봇 팔 등 모든 종류의 로봇에게 모든 종류의 작업을 수행하도록 가르쳤습니다.

 

연구 논문은 광범위하고 복잡한 조작 기술을 보여주기 위해 로봇 손이 필요한 오픈 소스 손재주 벤치마크를 기반으로 Eureka로 훈련된 20가지 작업에 대한 심층적인 평가를 제공합니다.

 

9개 Isaac Gym 환경의 결과는 NVIDIA Omniverse를 사용하여 생성된 시각화로 표시됩니다.

 

“Eureka는 대규모 언어 모델과 NVIDIA GPU 가속 시뮬레이션 기술의 독특한 조합입니다.”라고 프로젝트 참여자 중 한 명인 NVIDIA의 선임 연구 과학자 Linxi “Jim” Fan이 말했습니다. "우리는 Eureka가 능숙한 로봇 제어를 가능하게 하고 아티스트에게 물리적으로 사실적인 애니메이션을 제작할 수 있는 새로운 방법을 제공할 것이라고 믿습니다."

 

이는 자율적으로 Minecraft를 플레이할 수 있는 GPT-4로 구축된 AI 에이전트인 Voyager 와 같은 최신 NVIDIA Research 발전 기능을 추가하여 개발자의 마음을 가능성으로 돌리게 하는 획기적인 작업입니다 .

 

NVIDIA Research는 전 세계적으로 수백 명의 과학자와 엔지니어로 구성되어 있으며, AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율주행차, 로봇공학 등의 주제에 초점을 맞춘 팀이 있습니다.