Di ajang CVPR 2026, NVIDIA memperkenalkan teknologi baru bernama agent skills untuk mendukung riset physical AI. Teknologi ini dirancang untuk membantu peneliti dan pengembang mempercepat pengembangan kendaraan otonom, robot, dan sistem vision AI.
Peluncuran ini menjadi salah satu sorotan utama NVIDIA di CVPR 2026, ajang konferensi computer vision yang berlangsung pada 3-7 Juni di Denver, Amerika Serikat.
Masalah Utama di Riset Physical AI
Menurut NVIDIA, tantangan terbesar dalam riset physical AI bukan sekadar membangun model AI yang lebih kuat. Tantangan sesungguhnya terletak pada proses kerja yang panjang, mulai dari:
- Merekonstruksi kondisi dunia nyata
- Membuat skenario langka atau "edge case"
- Melatih model
- Mengevaluasi perilaku sistem
- Hingga melakukan iterasi secara cepat.
Selama ini, setiap tahap tersebut biasanya dikerjakan dengan alat yang berbeda-beda dan terpisah satu sama lain. Kondisi ini membuat proses eksperimen menjadi lambat karena peneliti harus menyatukan sendiri berbagai perangkat yang tidak saling terhubung.
Agent skills hadir sebagai jawaban atas masalah tersebut. Dengan bantuan agent skills, alur kerja yang tadinya terpisah-pisah kini dapat diotomatisasi dan dijalankan lebih efisien.
NVIDIA Agent Skills adalah kumpulan "modul pengetahuan" untuk AI agent, berupa paket instruksi (file bernama SKILL.md) yang mengajarkan agent cara memakai teknologi NVIDIA dengan benar, seperti CUDA-X, TensorRT-LLM, NeMo, Omniverse, hingga tools untuk robotika dan mobil otonom.
Mirip seperti "buku panduan siap pakai" yang tinggal dipasang ke AI agent, sehingga agent langsung tahu cara menjalankan tugas tertentu—misalnya melatih model, mensimulasikan robot, atau memproses video—tanpa perlu diprogram ulang dari nol setiap kali.
Yang membuatnya istimewa, skill-skill ini mengikuti standar terbuka "Agent Skills", jadi bisa dipakai di berbagai platform AI agent seperti Claude Code, Codex, atau Cursor, bukan cuma produk NVIDIA saja.
NVIDIA juga menambahkan layers of trust: setiap skill diperiksa keamanannya, diberi semacam "kartu identitas" digital yang mencatat asal-usulnya, dan ditandatangani secara kriptografis agar pengguna mengetahui skill tersebut asli dan belum diubah sembarangan.
Dengan begitu, developer bisa lebih cepat dan lebih aman mengintegrasikan teknologi NVIDIA yang kompleks ke dalam aplikasi AI mereka.
Fondasi Teknologi: NVIDIA Cosmos 3
Agent skills ini bekerja berdampingan dengan NVIDIA Cosmos 3, model fondasi terbuka (open model) untuk physical AI yang baru saja diumumkan NVIDIA. Cosmos 3 disebut sebagai omnimodel pertama di dunia yang menyatukan kemampuan penalaran visual, pembuatan dunia virtual, dan generasi aksi dalam satu model.
Dengan dukungan Cosmos 3 serta berbagai pustaka dan kerangka kerja simulasi milik NVIDIA, agent skills memungkinkan peneliti berpindah dari sekedar menguji kemampuan model menuju alur kerja menyeluruh yang bisa diskalakan dengan lebih cepat.
Dorong Riset Kendaraan Otonom Lebih Jauh
Bagi peneliti kendaraan otonom, tantangan klasik selalu berkutat pada data “long tail”, yaitu interaksi lalu lintas yang jarang terjadi, kondisi jalan yang tidak umum, perubahan pencahayaan, hingga perilaku pengemudi lain yang sulit direkam berulang kali, padahal data semacam ini sangat penting untuk pelatihan dan validasi sistem.
Dengan skill khusus kendaraan otonom, peneliti dapat menugaskan agen AI untuk mengubah data armada kendaraan menjadi adegan 3D yang dapat diedit dan digunakan untuk simulasi maupun pembuatan data sintetis.
Proses ini didukung sejumlah teknologi NVIDIA lain seperti Omniverse NuRec, InstantNuRec, Harmonizer, dan renderer HiGS untuk mempercepat rekonstruksi serta meningkatkan realisme adegan.
Selain itu, NVIDIA juga memperkenalkan AlpaGym, kerangka kerja reinforcement learning open source yang mampu menjalankan simulasi berskala ribuan GPU. Ada pula Cosmos-Dreams, model dunia generatif yang mampu menghasilkan tampilan kamera secara real time sesuai aksi kebijakan (policy) yang diberikan.
Sebagai pelengkap, NVIDIA turut menghadirkan Alpamayo 2 Super, model bahasa-visi-aksi (VLA) open source dengan 32 miliar parameter yang diklaim sebagai model mengemudi open source paling canggih milik NVIDIA saat ini.
Model ini dirancang untuk mendukung pengembangan sistem berkendara otonom level 4 secara lebih aman dan dapat diskalakan.
Memperkuat Sistem Vision AI untuk Dunia Nyata
Di bidang vision AI, kendala utama peneliti adalah menciptakan cukup banyak contoh data terkendali untuk mempelajari perubahan kondisi visual, status objek, atau kejadian yang bersifat sementara.
Tugas seperti deteksi anomali, pembuatan anomali sintetis, hingga pengenalan cacat produk dengan data terbatas sering terhambat oleh keterbatasan data ini.
Melalui skill baru dari NVIDIA Metropolis, peneliti dapat memanfaatkan agen AI untuk menghasilkan skenario visual sintetis, termasuk simulasi anomali, memperkaya data, hingga membantu proses pemberian label otomatis (pseudo-labeling).
Salah satu contohnya adalah skill Defect Image Generation, yang memungkinkan peneliti membuat berbagai jenis cacat produk pada permukaan yang berbeda-beda menggunakan gambar asli sebagai acuan.
Alur kerja ini memadukan NVIDIA Isaac Sim, Cosmos 3, dan NVIDIA OSMO untuk orkestrasi serta penalaran berbasis bahasa dan visual. Untuk kebutuhan analisis video berskala besar, kombinasi NVIDIA Metropolis Blueprint untuk pencarian dan ringkasan video (VSS), NVIDIA TAO, serta skill Video Augmentation membantu peneliti menyaring informasi dari jutaan jam data video, menyempurnakan model, dan mengotomatisasi proses pelatihan sekaligus evaluasinya.
Skala Baru untuk Pembelajaran Robot
Mengajarkan robot untuk bernavigasi atau memanipulasi objek membutuhkan proses coba-coba yang panjang. Tantangan terbesarnya adalah membangun cukup banyak lingkungan simulasi dan variasi tugas untuk memahami bagaimana perilaku robot berubah di berbagai situasi dan bentuk fisik (embodiment) yang berbeda.
Dengan skill robotika dari NVIDIA, peneliti dapat menugaskan agen AI untuk mengotomatisasi sebagian besar tahapan pengembangan, mulai dari penyiapan skenario, simulasi, hingga pembelajaran robot menggunakan kerangka kerja Omniverse, Isaac Sim, dan Isaac Lab. Agen AI dapat membantu menjalankan sesi simulasi, menyusun adegan, mengambil data, dan memvalidasi lingkungan secara otomatis.
Skill tambahan juga tersedia khusus untuk kebutuhan navigasi dan manipulasi robot, termasuk konversi format file, pendaftaran lingkungan simulasi, hingga evaluasi kebijakan.
Di sektor kesehatan, NVIDIA menghadirkan Cosmos-H-Surgical-Simulator yang mampu menghasilkan data robotika bedah secara realistis untuk pelatihan dan evaluasi, sehingga membantu mengurangi kesenjangan antara hasil simulasi dan kondisi nyata di ruang operasi.
Riset dan Dataset Baru di Ajang CVPR
Teknologi NVIDIA, mulai dari GPU, model open source, framework simulasi, hingga pustaka berbasis CUDA, disebut digunakan pada sebagian besar makalah penelitian yang diterima di CVPR 2026. Adopsi ini datang dari berbagai institusi riset ternama seperti Carnegie Mellon University, Stanford University, UC Berkeley, Tsinghua University, dan Peking University. NVIDIA juga membuka sejumlah tantangan riset terbuka di CVPR 2026, di antaranya adalah:
- AI City Challenge untuk aplikasi smart city
- PAI-AV Reasoning Challenge untuk menilai penalaran model kendaraan otonom
- AlpaSim Closed-Loop End-to-End Driving Challenge untuk menguji kebijakan berkendara otonom dalam simulasi tertutup.
Selain itu, NVIDIA memperluas infrastruktur risetnya dengan merilis sejumlah dataset baru, termasuk GRAIL yang berisi sekitar 50 jam data interaksi antara manusia humanoid dan objek, serta enam dataset video sintetis lain yang mencakup topik robotika, fisika, manusia digital, kendaraan otonom, keselamatan gudang, hingga penalaran spasial.
Cara Mengakses Agent Skills NVIDIA
Kabar baiknya, seluruh alat dan agent skills physical AI dari NVIDIA kini sudah tersedia secara terbuka melalui GitHub. Beberapa skill untuk pembuatan data sintetis, seperti Neural Reconstruction, Video Augmentation, dan Defect Image Generation, bahkan bisa langsung dicoba melalui NVIDIA Brev dalam bentuk Physical AI Launchables.
Launchables tersebut merupakan lingkungan kerja yang sudah dikonfigurasi sebelumnya, berjalan di atas GPU NVIDIA H100 Tensor Core, dan dilengkapi kredit uji coba gratis bagi para peneliti yang ingin mempercepat proses pembuatan dan evaluasi data.
Dengan hadirnya agent skills ini, NVIDIA berupaya menyatukan berbagai proses riset physical AI yang sebelumnya terpisah menjadi satu alur kerja yang lebih efisien. Langkah ini diharapkan dapat mempercepat inovasi di bidang kendaraan otonom, robotika, dan vision AI di masa mendatang.
Sumber:
