NVIDIA عصر بعدی تحقیقات هوش مصنوعی فیزیکی را با مهارت های عامل برای وسایل نقلیه خودران، روباتیک و Vision AI تقویت می کند.

در طول CVPR، NVIDIA از مهارت‌های عامل هوش مصنوعی فیزیکی جدیدی رونمایی می‌کند به محققان و توسعه دهندگان کمک کند تسریع در توسعه وسایل نقلیه خودران، روبات ها و سیستم های هوش مصنوعی بینایی.

وارد چالش اصلی هوش مصنوعی فیزیکی تحقیق صرفاً به دنبال توسعه مدل‌های قوی‌تر نیست. این یک گردش کار کامل را در اطراف خود ایجاد می کند: بازسازی صحنه های دنیای واقعی، ایجاد سناریوهای حاشیه ای، سیاست های آموزشی، ارزیابی رفتار، و تکرار سریع. امروزه، این مراحل در ابزارهای جداگانه تقسیم شده‌اند و سرعت آزمایش را کاهش می‌دهند، زیرا محققان تلاش می‌کنند تا آنها را کنار هم بگذارند.

انویدیا اوایل این هفته این موضوع را اعلام کرد NVIDIA Cosmos 3مدل مرز باز برای هوش مصنوعی فیزیکی و اولین omnimodel کامل در جهان که بینش، استدلال، جهان و نسل عمل را یکسان می کند. مدل بنیاد جهانی در رتبه‌بندی عمومی مدل‌های باز مرکزی برای هوش مصنوعی فیزیکی پیشرو است و قابلیت‌های اصلی را برای توسعه هوش مصنوعی فیزیکی فراهم می‌کند. مهارت های هوش مصنوعی فیزیکی NVIDIA با Cosmos، کتابخانه‌های NVIDIA و چارچوب‌های شبیه‌سازی ترکیب کنید تا به محققان کمک کنید تا سریع‌تر از همیشه از قابلیت‌های مدل‌سازی به جریان‌های کاری مقیاس‌پذیر تبدیل شوند.

انجام تحقیقات در مورد وسایل نقلیه خودران فراتر از کیلومترهای ثبت شده

برای محققان AV، مشکل «دم دراز» رانندگی است – تعاملات نادر، هندسه غیرمعمول جاده، تغییرات نور، و رفتارهای لبه‌ای که جمع‌آوری مکرر آنها دشوار است، اما برای آموزش و اعتبارسنجی حیاتی است.

نمایش مهارت‌های بازسازی عصبی در OpenClaw، نشان دادن یک ویدیوی دوباره رندر شده از زاویه دید بالا از یک حسگر مجازی.

با مهارت‌های NVIDIA در خودروهای خودمختار، محققان و توسعه‌دهندگان می‌توانند به عوامل هوش مصنوعی دستور دهند تا گردش‌های کاری بازسازی صحنه را از داده‌های ناوگان خودکار کنند و سناریوهای مصنوعی تولید کنند. بازسازی عصبی مهارت ها به عوامل هوش مصنوعی کمک می کند تا داده های گرفته شده توسط ناوگان را به صحنه های سه بعدی قابل ویرایش تبدیل کنند. شبیه سازی و تولید داده های مصنوعی، در حالی که فناوری ها از جمله NVIDIA Omniversum NuRec، InstantNuRec، هماهنگ کننده و رندر شتاب دهنده HiGS کمک به سرعت بخشیدن به بازسازی، بهبود واقع گرایی صحنه، و ایجاد بینش های جدید.

InstantNuRec بازسازی سه بعدی گاوسی سریع صحنه های جاده را از روی تصاویر بدون بهینه سازی برای هر صحنه فعال می کند.

برای محققان AV، شبیه‌سازی تکرارپذیر به تغییر شرایط، مقایسه پاسخ‌های سیستم و کشف حالت‌های خرابی در سناریوهایی فراتر از آنچه در داده‌های دنیای واقعی قابل ثبت است کمک می‌کند.

NVIDIA AlpaGymیک چارچوب یادگیری حلقه بسته منبع باز، این رویکرد را با اتصال استقرار خط مشی و شبیه‌سازی با وفاداری بالا با مهارت‌های عامل، مقیاس‌پذیری در هزاران GPU گسترش می‌دهد تا به محققان در ساخت، استقرار و ارزیابی کمک کند. NVIDIA OmniDreamsیک مدل جهان مولد مبتنی بر کنش، رندر واقع‌گرایانه را به حلقه شبیه‌سازی اضافه می‌کند و فریم‌های دوربین را تولید می‌کند که مستقیماً به اقدامات سیاست در زمان واقعی پاسخ می‌دهد.

انویدیا همچنین تحقیقات AV را با قدرتمندترین مدل پایه درایو باز تا کنون پیش می برد: NVIDIA Alpamayo 2 Superیک مدل VLA باز (استدلال، عمل زبان بینایی) با 32 میلیارد پارامتر که برای توسعه و استقرار سطح 4 ایمن تر و مقیاس پذیر تر، کل پیشرانه را دلیل، برنامه ریزی و عمل می کند.

سیستم های هوش مصنوعی ویژن پیشرفته برای دنیای واقعی

برای تحقیقات هوش مصنوعی بینایی، گلوگاه در حال ایجاد نمونه‌های کنترل‌شده کافی برای مطالعه نحوه رفتار مدل‌ها هنگام تغییر شرایط بصری، حالت‌های شی یا رویدادهای زمانی است. کار بر روی تشخیص ناهنجاری صفر شات، تولید ناهنجاری مصنوعی، و تشخیص نقص با شات کوچک همه به یک دیوار داده برخورد می کنند.

مهارت های بازرسی بصری جدید باعث ایجاد چندین نقص نادر در سطوح مختلف می شود.

مهارت های جدید NVIDIA Metropolis به محققان و توسعه دهندگان کمک می کند تا از عوامل هوش مصنوعی برای تولید سناریوهای بصری مصنوعی از جمله ناهنجاری ها، افزایش داده ها و پشتیبانی از برچسب گذاری کاذب استفاده کنند. این قابلیت‌ها از معماری ترکیبی-ترانسفورماتور Cosmos 3 استفاده می‌کند، که از یک ترانسفورماتور استدلال برای تجزیه و تحلیل مشاهدات و ارسال دستورالعمل‌ها به یک برج نسل استفاده می‌کند و به جهان‌های مجازی زمین‌دار فیزیکی اجازه می‌دهد مقیاس شوند.

محققانی که مدل‌های بازرسی بصری بسیار دقیق می‌سازند، می‌توانند از آن استفاده کنند مهارت تولید تصویر معیوب برای ایجاد نمونه هایی از عیوب مختلف بر روی سطوح مختلف با استفاده از تصاویر واقعی. گردش کار NVIDIA Isaac Sim را برای شبیه سازی، Cosmos 3 و NVIDIA OSMO برای ارکستراسیون و استدلال در زبان بصری – به محققان اجازه می دهد موارد بصری نادری ایجاد کنند و ارزیابی کنند که آیا مدل ها به درستی پاسخ می دهند یا خیر.

مهارت‌های جدید NVIDIA Metropolis VSS Blueprint بینش‌هایی را از حجم عظیمی از داده‌های ویدیویی استخراج می‌کنند.

برای عوامل هوش مصنوعی ویدیویی، NVIDIA Metropolis Blueprint برای جستجو و خلاصه سازی ویدیو (VSS)، NVIDIA BTB و مهارت های تقویت ویدیو کمک به استخراج بینش از مقادیر عظیم داده های ویدئویی، اصلاح مدل ها و حلقه build-and-evaluate را خودکار کنید. این به محققان روش تکرارپذیرتری برای توسعه عوامل هوش مصنوعی با دید استدلالی می دهد که می تواند رویدادها را شناسایی کند، درباره صحنه های پیچیده استدلال کند، فعالیت ها را خلاصه کند و هشدار ارسال کند.

مقیاس یادگیری ربات با گردش کار شبیه سازی آماده عامل

آموزش مهارت‌هایی مانند ناوبری یا دستکاری به روبات‌ها به تکرار خلاصه می‌شود. برای محققان، نقطه گیر ایجاد محیط‌های کنترل‌شده و استقرار خط‌مشی به اندازه کافی برای درک چگونگی تغییر رفتار ربات در وظایف، تنظیمات و اجراهای مختلف است – کاری که معمولاً به معنای پیوند دادن محیط‌های شبیه‌سازی، تغییرات وظایف، آموزش خط‌مشی و ارزیابی با دست است.

NVIDIA Isaac Sim 6.0 شامل مهارت‌ها و رابط‌های سازگار با عامل برای کمک به خودکارسازی گردش کار است.

با NVIDIA Robot Skills، محققان می توانند به عوامل هوش مصنوعی دستور دهند تا متداول ترین مراحل توسعه در آماده سازی صحنه، شبیه سازی و یادگیری ربات را خودکار کنند. کتابخانه های Omniverse NVIDIA، اسحاق سیم و آزمایشگاه آیزاک قاب ها عوامل می‌توانند به شروع جلسات شبیه‌سازی، نوشتن صحنه‌ها، کنترل شبیه‌سازی، گرفتن داده‌ها و اعتبارسنجی محیط‌ها در Isaac Sim کمک کنند، در حالی که مهارت‌های Isaac Lab از راه‌اندازی، آموزش، ارزیابی و توسعه محیط‌های سفارشی پشتیبانی می‌کنند.

مهارت های حرکتی جدید NVIDIA Isaac گردش کار ناوبری را خودکار می کند.

مهارت های تخصصی این جریان کار را به تحرک و دستکاری گسترش می دهد. مهارت های حرکتی آیزاک از گردش‌های کاری ناوبری که شامل جستجوی صحنه، تبدیل USD، ثبت محیط، یادگیری تقویتی باقیمانده و ارزیابی خط‌مشی می‌شود، پشتیبانی می‌کند، در حالی که گردش‌های کاری نمایندگی آزمایشگاه آیزاک به کارهای سیم به سیم و سیم به واقعی مانند ساخت محیط، تنظیم فیزیک، اشکال‌زدایی و پروفایل کمک می‌کنند.

برای مراقبت های بهداشتی رباتیک است شبیه ساز جراحی Cosmos-H تحقیقات را با تولید داده های رباتیک جراحی واقع گرایانه برای آموزش و ارزیابی سیاست ها پیش می برد. با یادگیری مستقیم از داده های جراحی واقعی به جای مدل های فیزیک دست ساز، به کاهش شکاف بین شبیه سازی و واقعیت کمک می کند و از توسعه وظایف جراحی خودمختار پشتیبانی می کند.

Cosmos 3 می‌تواند بیشتر به تولید داده‌های مصنوعی و تغییرات صحنه کمک کند، سپس از پس‌آموزش با داده‌های رفتاری و محیطی خاص تجسم برای کارهایی از انتخاب و مکان تا دستکاری ماهرانه پشتیبانی کند.

تحقیقات انویدیا در CVPR

فن‌آوری‌های NVIDIA – از جمله پردازنده‌های گرافیکی، مدل‌های باز، چارچوب‌های شبیه‌سازی و کتابخانه‌های شتاب‌دهنده CUDA – در مقالات پذیرفته‌شده CVPR 2026، با پذیرش از سوی آزمایشگاه‌ها و مؤسسات تحقیقاتی جهانی از جمله کارنگی ملون دانشگاه، دانشگاه استنفورد، یو سی برکلی، دانشگاه Tsinghua و دانشگاه پکن.

محققان NVIDIA کار خود را در زمینه بینایی کامپیوتر، هوش مصنوعی فیزیکی، سیستم‌های خودمختار، رندر عصبی، هوش مصنوعی مولد و روباتیک ارائه می‌کنند. CVPRاز 3 تا 7 ژوئن در دنور.

حضور CVPR NVIDIA همچنین شامل چالش‌های تحقیقاتی باز است که به معیار پیشرفت در هوش مصنوعی فیزیکی کمک می‌کند:

شبکه ای از ویدئوهای نمونه از مجموعه داده Robot Sim جدید به عنوان بخشی از انتشار مجموعه داده Cosmos 3.

NVIDIA همچنین در حال توسعه زیرساخت های تحقیقاتی پشت هوش مصنوعی فیزیکی با مجموعه داده هایی برای آموزش، اصلاح و ارزیابی است. را مجموعه داده های هوش مصنوعی فیزیکی NVIDIA بیش از 15 میلیون دانلود شده است صورت در آغوش گرفتهدر حالی که NVIDIA Isaac GR00T تبدیل به یکی از پردانلودترین مجموعه داده های رباتیک شده است. نسخه های جدید مجموعه داده ها شامل جامشامل تقریباً 50 ساعت داده‌های تعامل انسان و شی و شش مجموعه داده مصنوعی که برای آموزش Cosmos 3 استفاده شده است. رباتیک، فیزیک، افراد دیجیتال، رانندگی مستقل، ایمنی انبار و استدلال فضایی.

در دسترس بودن

ابزارها و مهارت های عامل هوش مصنوعی فیزیکی NVIDIA در حال حاضر هستند به صورت آزاد از طریق GitHub در دسترس است.

مهارت ها و ابزار برای عوامل تولید داده های مصنوعی – بازسازی عصبی، بزرگنمایی ویدیو، تولید تصویر معیوب – همچنین در دسترس هستند تا مستقیماً روی NVIDIA Brev as امتحان کنید قابلیت راه اندازی هوش مصنوعی فیزیکیمحیط های از پیش پیکربندی شده ای که مهارت ها و ابزارهای عامل را برای تولید و ارزیابی سریعتر داده های مصنوعی ترکیب می کند. دستگاه‌های راه‌اندازی روی پردازنده‌های گرافیکی NVIDIA H100 Tensor Core میزبانی می‌شوند و شامل اعتبار آزمایشی رایگان برای محققان می‌شوند.

بیشتر بدانید NVIDIA در CVPR و تحقیقات NVIDIA را بررسی کنیدکار در هوش مصنوعی فیزیکی، بینایی کامپیوتر و سیستم‌های مستقل. شروع کنید ابزارهای روباتیک Isaac GR00T و NVIDIA.