NVIDIA مدل های هوش مصنوعی و ابزارهای توسعه دهنده را برای بهبود اکوسیستم AV منتشر می کند

پشته‌های خودروهای خودران (AV) از مدل‌های مختلف به یک معماری یکپارچه و سرتاسر تبدیل می‌شوند که اقدامات رانندگی را مستقیماً از داده‌های حسگر انجام می‌دهد. این انتقال به استفاده از مدل‌های بزرگ‌تر، تقاضا برای داده‌های حسگر با کیفیت بالا و مبتنی بر فیزیکی را برای آموزش، آزمایش و اعتبار سنجی افزایش می‌دهد.

برای کمک به سرعت بخشیدن به توسعه نسل بعدی معماری‌های AV، NVIDIA امروز NVIDIA Cosmos Predict-2 را منتشر کرد – یک مدل پایه جهانی جدید با قابلیت‌های پیشرفته برای پیش‌بینی وضعیت‌های آینده جهان برای تولید داده‌های مصنوعی با کیفیت بالا – و همچنین ابزارهای توسعه‌دهنده جدید.

Cosmos Predict-2 بخشی از پلتفرم NVIDIA Cosmos است که فناوری‌هایی را برای مقابله با پیچیده‌ترین چالش‌ها در توسعه سرتاسر AV در اختیار توسعه‌دهندگان قرار می‌دهد. رهبران صنعتی مانند Oxa، Plus و Uber از مدل‌های Cosmos برای مقیاس‌بندی سریع تولید داده‌های مصنوعی برای توسعه AV استفاده می‌کنند.

Cosmos Predict-2 آموزش AV را تسریع می کند

با تکیه بر Cosmos Predict-1 – که برای پیش بینی و تولید وضعیت های آینده جهان با استفاده از متن، تصویر و پیام های ویدئویی طراحی شده است – Cosmos Predict-2 زمینه را از متن و ورودی بصری بهتر درک می کند و منجر به توهمات کمتر و جزئیات غنی تر در فیلم های تولید شده می شود.

Cosmos Predict-2 با استفاده از جدیدترین تکنیک‌های بهینه‌سازی، تولید داده‌های مصنوعی را در سیستم‌های NVIDIA GB200 NVL72 و NVIDIA DGX Cloud به طور قابل‌توجهی سرعت می‌بخشد.

Cosmos پس از آموزش منابع داده آموزشی جدیدی را باز می کند

با آموزش مدل‌های Cosmos بر روی داده‌های AV، توسعه‌دهندگان می‌توانند ویدیوهایی تولید کنند که دقیقاً با محیط‌های فیزیکی موجود و مسیرهای خودرو مطابقت داشته باشد و از یک ویدیوی تک‌نما ویدیوهایی با چند نمایش تولید کنند، مانند فیلم دوربین داش‌م. توانایی تبدیل داده‌های داش‌کم در دسترس عموم به داده‌های چند دوربینی به توسعه‌دهندگان امکان دسترسی به مقادیر جدیدی از داده‌ها برای آموزش AV را می‌دهد. این ویدیوهای چند نمایشی همچنین می توانند برای جایگزینی داده های واقعی دوربین از سنسورهای خراب یا گرفتگی استفاده شوند.

مدل‌های Cosmos پس از آموزش، ویدئوهای چند نمایشی تولید می‌کنند تا به طور قابل‌توجهی مجموعه داده‌های آموزشی AV را گسترش دهند.

تیم تحقیقاتی NVIDIA مدل‌های Cosmos را با استفاده از 20000 ساعت داده رانندگی در دنیای واقعی بازآموزی کردند. تیم با استفاده از مدل‌های ویژه AV برای تولید داده‌های ویدئویی چند نما، عملکرد مدل را در شرایط چالش‌برانگیز مانند مه و باران بهبود بخشید.

اکوسیستم AV با استفاده از Cosmos Predict باعث پیشرفت می شود

شرکت‌های AV قبلاً Cosmos Predict را برای مقیاس‌بندی و تسریع توسعه خودرو یکپارچه کرده‌اند.

رهبر کامیون خودران Plus که راه حل خود را با پلت فرم NVIDIA DRIVE AGX ایجاد می کند، Cosmos Predict را بر روی داده های کامیون ردیابی می کند تا سناریوهای رانندگی مصنوعی بسیار واقعی را ایجاد کند تا تجاری سازی راه حل های خودران خود را در مقیاس سرعت بخشد. شرکت نرم‌افزار AV Oxa نیز از Cosmos Predict برای پشتیبانی از تولید ویدیوی چند دوربینی با قابلیت اطمینان بالا و سازگاری زمانی استفاده می‌کند.

مدل‌های جدید NVIDIA و میکروسرویس‌های NIM این فرصت را برای توسعه‌دهندگان AV فراهم می‌کنند

علاوه بر Cosmos Predict-2، انویدیا امروز Cosmos Transfer را به عنوان پیش نمایش میکروسرویس NVIDIA NIM برای استقرار آسان بر روی پردازنده های گرافیکی مرکز داده معرفی کرد.

پیش‌نمایش ریزسرویس Cosmos Transfer NIM مجموعه داده‌ها را مقیاس‌بندی می‌کند و با استفاده از ورودی ساختاریافته یا شبیه‌سازی‌های حقیقت زمینی از پلتفرم NVIDIA Omniverse، ویدیوهای واقعی را تولید می‌کند. و مدل NuRec Fixer به رنگ آمیزی و رفع شکاف ها در داده های AV بازسازی شده کمک می کند.

NuRec Fixer شکاف های موجود در داده های رانندگی را برای بهبود بازسازی عصبی پر می کند.

CARLA، پیشروترین شبیه‌ساز AV منبع باز جهان، Cosmos Transfer و NVIDIA NuRec – مجموعه‌ای از رابط‌های برنامه‌نویسی برنامه‌نویسی و ابزارهایی برای بازسازی و رندر عصبی – را در آخرین نسخه یکپارچه خواهد کرد. این به پایگاه کاربر CARLA با بیش از 150000 توسعه‌دهنده AV این امکان را می‌دهد تا صحنه‌ها و دیدگاه‌های شبیه‌سازی مصنوعی را با وفاداری بالا ارائه دهند و با استفاده از نشانه‌های ساده، تغییرات بی‌پایانی در نور، آب و هوا و زمین ایجاد کنند.

توسعه دهندگان می توانند این خط لوله را با استفاده از داده های منبع باز موجود در مجموعه داده های هوش مصنوعی NVIDIA Physical AI امتحان کنند. آخرین نسخه مجموعه داده شامل 40000 کلیپ تولید شده با Cosmos و همچنین نمونه هایی از صحنه های بازسازی شده برای رندر عصبی است. با این آخرین نسخه CARLA، توسعه دهندگان می توانند مسیرهای جدید طراحی کنند، حسگرها را تغییر مکان دهند و سفرها را شبیه سازی کنند.

چنین خطوط لوله تولید داده مقیاس‌پذیری توسعه معماری‌های مدل AV را امکان‌پذیر می‌سازد، همانطور که اخیراً با دومین پیروزی متوالی NVIDIA Research در چالش بزرگ مستقل End-to-End در CVPR نشان داده شد.

این چالش به محققان این فرصت را داد تا راه‌های جدیدی را برای رسیدگی به موقعیت‌های غیرمنتظره – فراتر از استفاده از داده‌های واقعی رانندگی انسان – برای تسریع توسعه AVهای هوشمندتر کشف کنند.

NVIDIA Halos امنیت AV سرتاسر را بهبود می بخشد

برای افزایش امنیت عملیاتی سیستم‌های AV، NVIDIA در اوایل سال جاری NVIDIA Halos را معرفی کرد – یک پلتفرم ایمنی جامع که کل مجموعه ایمنی سخت‌افزار و نرم‌افزار خودرو شرکت را با تحقیقات پیشرفته هوش مصنوعی متمرکز بر ایمنی AV ادغام می‌کند.

Bosch، Easyrain و Nuro جدیدترین رهبران خودرو هستند که به آزمایشگاه بازرسی سیستم‌های هوش مصنوعی NVIDIA Halos می‌پیوندند تا ادغام امن محصولات خود با فناوری‌های NVIDIA و ارتقای ایمنی AV را تأیید کنند. اعضای آزمایشگاه اعلام شده در اوایل سال جاری عبارتند از Continental، Ficosa، OMNIVISION، onsemi و Sony Semiconductor Solutions.

مشاهده کنید سخنرانی اصلی NVIDIA GTC Paris از بنیانگذار و مدیر عامل NVIDIA جنسن هوانگ در VivaTech، و پیدا کنید جلسات GTC پاریس.