NVIDIA Cosmos

이 문서와 함께 시작해 보세요. Cosmos WFM은 Hugging Face에서 공개되어 있으며, 추론 및 사후 학습 스크립트는 GitHub에서 제공됩니다. 또한 개발자는 GitHub 및 Hugging Face의  /NVIDIA/cosmos-tokenizer에서 Cosmos 토크나이저를 사용할 수 있습니다.

Cosmos WFM은 NVIDIA 오픈 모델 라이선스를 통해 모든 사람이 사용할 수 있습니다.

PyTorch 스크립트는 사후 훈련을 위해 모든 Cosmos 모델에 공개적으로 사용할 수 있습니다. 사후 훈련 관련 단계별 가이드는 이 문서를 읽어보세요.

예, Cosmos를 활용하여 선호하는 파운데이션 모델 또는 모델 아키텍처를 기반으로 처음부터 구축할 수 있습니다. NeMo Curator를 사용하여 먼저 비디오 데이터 전처리 작업을 합니다. 그런 다음 Cosmos 토크나이저를 사용하여 데이터를 압축하고 디코딩합니다. 데이터 처리가 완료되면 NVIDIA NeMo를 사용하여 모델을 학습시키거나 파인튜닝할 수 있습니다.

NVIDIA NIM™ 마이크로서비스를 사용하면 클라우드, 데이터센터, 워크스테이션 등 다양한 환경에서 애플리케이션에 쉽게 통합할 수 있습니다.

NVIDIA DGX Cloud를 활용해 AI 모델을 훈련하고 어디에서나 대규모 배포할 수도 있습니다.

세 가지 모두 서로 다른 역할을 가진 WFM입니다.

• Cosmos Predict는 텍스트, 이미지 또는 비디오 프롬프트에서 다양한 비디오 장면을 생성하며, 로봇 또는 자율주행 자동차와 같은 주제에 대한 파인튜닝에 이상적입니다.
• Cosmos Transfer는 NVIDIA Omniverse와 같은 시뮬레이터에서 생성된 물리 기반 영상에 조명 및 환경을 변경하는 멀티 제어 스타일 전환을 적용합니다.
• Cosmos Reason은 영상 및 이미지 입력을 기반으로 추론하여 텍스트 질의에 답변합니다.

Cosmos Reason은 Cosmos Predict를 위한 하나의 시작 영상에서 새롭고 다양한 텍스트 프롬프트를 생성하거나 Predict 및 Transfer가 생성한 합성 데이터를 비평할 수 있습니다.

Omniverse는 다양한 생성형 API, SDK, NVIDIA RTX 렌더링 기술을 활용하여 실제 작업에 대한 사실적인 3D 시뮬레이션을 생성합니다.

개발자는 Omniverse 시뮬레이션을 Cosmos Transfer 모델에 입력하고, 제어 가능한 포토리얼 합성 데이터를 생성할 수 있습니다.

Omniverse는 훈련 전과 후의 시뮬레이션 환경을 제공하고, Cosmos는 영상 데이터를 생성하고 피지컬 AI 모델을 훈련할 수 있는 파운데이션 모델을 제공합니다.

NVIDIA Omniverse에 대해 자세히 알아보세요.