CEO Microsoft Satya Nadella menyerukan penguatan pengawasan terhadap kecerdasan buatan (AI) canggih dengan menyediakan mekanisme penghentian darurat yang memungkinkan manusia menghentikan sistem AI saat sedang menjalankan tugas.
Usulan tersebut muncul di tengah meningkatnya perhatian industri teknologi terhadap risiko keamanan dari AI otonom yang dapat mengambil tindakan tanpa campur tangan manusia pada setiap langkahnya.
Dalam unggahan di platform X pada 10 Oktober 2026, Nadella menekankan bahwa perusahaan tidak seharusnya hanya mengandalkan jaminan keamanan dari pengembang model AI.
Menurutnya, sistem perlu dirancang dengan asumsi bahwa model dapat mengalami gangguan atau disusupi, sehingga pengendalian harus tersedia sejak awal penerapan.
Gagasan tersebut menyoroti perubahan pendekatan dalam pengembangan AI. Ketika sistem mulai diberi kewenangan untuk menjalankan pekerjaan, mengakses data, dan berinteraksi dengan layanan digital secara mandiri, pengamanan tidak cukup hanya mengandalkan kemampuan model untuk mengikuti instruksi atau mengenali kesalahannya sendiri.
Apa Itu Rem Darurat untuk AI Otonom?
Emergency brake merupakan mekanisme yang memungkinkan orang berwenang menjeda atau menghentikan sistem AI ketika sistem tersebut sedang bekerja.
Mekanisme ini menjadi penting terutama bagi AI agent, yaitu sistem yang tidak hanya menghasilkan jawaban, tetapi juga dapat menjalankan serangkaian tindakan berdasarkan instruksi yang diberikan.
Dalam lingkungan perusahaan, AI agent dapat digunakan untuk:
- Mengolah data
- Mengubah kode perangkat lunak
- Mengirim pesan, atau berinteraksi dengan berbagai layanan digital
Jika sistem melakukan kesalahan atau bertindak di luar batas kewenangannya, dampaknya bisa meluas sebelum manusia menyadari masalah tersebut.
Karena itu, Nadella menginginkan kontrol keselamatan yang tetap dapat berfungsi tanpa bergantung pada keputusan model AI itu sendiri. Pemisahan antara model dan sistem yang mengatur pelaksanaan tugasnya juga menjadi bagian dari pendekatan tersebut.
Nadella Minta Aktivitas AI Bisa Diaudit
Selain mekanisme penghentian, Nadella menyoroti pentingnya pencatatan aktivitas AI yang dapat diperiksa manusia dan tidak mudah dimanipulasi. Catatan tersebut perlu merekam tindakan penting yang dilakukan model agar perusahaan dapat menelusuri apa yang terjadi ketika muncul masalah.
Pendekatan ini memungkinkan tim keamanan mengevaluasi keputusan sistem, mengidentifikasi sumber kesalahan, dan menentukan pihak yang bertanggung jawab. Nadella juga mendorong pengawasan yang lebih kuat, termasuk pengujian independen dan keterbukaan ketika terjadi insiden keselamatan.
Menurut pendekatan tersebut, perusahaan tidak cukup hanya menguji kemampuan AI sebelum diluncurkan. Mereka juga perlu memastikan sistem tetap berada dalam batas kewenangan selama digunakan, termasuk ketika terhubung dengan data sensitif atau menjalankan pekerjaan penting.
Prinsip ini relevan bagi organisasi yang mulai mengandalkan AI untuk proses bisnis, karena tanggung jawab atas tindakan sistem tidak dapat sepenuhnya dialihkan kepada pembuat model.
Microsoft Sebelumnya Merilis Draf Aturan Perilaku AI
Seruan Nadella sejalan dengan langkah Microsoft AI pada 14 September 2026, ketika perusahaan menerbitkan rancangan Code of Conduct untuk model AI internalnya, yang dikenal sebagai MAI.
Dokumen tersebut dibuka untuk konsultasi publik selama enam minggu sebagai bagian dari upaya merumuskan standar pengembangan dan penggunaan AI yang lebih aman.
Dalam rancangan itu, Microsoft menyatakan bahwa model AI harus tetap berada di bawah kendali manusia. Sistem tidak boleh menolak penghentian atau koreksi, menetapkan tujuan sendiri di luar instruksi manusia, maupun menyembunyikan prosesnya dari pihak yang melakukan audit.
Microsoft juga menetapkan batasan terhadap penggunaan model untuk tindakan berbahaya, termasuk pembuatan senjata yang menimbulkan kerusakan massal, pelanggaran keselamatan anak, dan manipulasi berbahaya dalam skala besar.
Dokumen tersebut merupakan rancangan pedoman untuk model internal Microsoft AI, bukan bukti bahwa seluruh sistem AI perusahaan telah menerapkan setiap mekanisme yang diusulkan. Microsoft menyatakan akan mempertimbangkan masukan publik dan menerbitkan versi revisi setelah proses konsultasi.
Insiden AI Memperkuat Perhatian terhadap Keamanan
Dorongan untuk memperketat pengawasan muncul ketika perusahaan AI menghadapi sejumlah insiden yang memperlihatkan risiko penggunaan sistem otonom.
Bloomberg melaporkan adanya kasus perilaku model yang tidak sesuai tujuan serta serangan terhadap situs web pihak ketiga yang berkaitan dengan aktivitas agen AI. Perkembangan ini meningkatkan perhatian terhadap kemampuan perusahaan dalam membatasi tindakan sistem mereka.
Meski demikian, mekanisme penghentian darurat bukan solusi tunggal untuk semua risiko AI. Pengamanan juga membutuhkan pembatasan akses, pemantauan aktivitas, pengujian berkala, dan prosedur penanganan insiden yang jelas.
Bagi perusahaan yang menggunakan AI untuk pekerjaan operasional, langkah praktisnya adalah memastikan setiap agen memiliki batas akses yang sesuai, aktivitasnya dapat diaudit, dan petugas berwenang bisa menghentikan proses ketika ditemukan perilaku berisiko.
Seruan Nadella pada akhirnya menempatkan kendali manusia sebagai salah satu fondasi penting pengembangan AI canggih. Tantangan berikutnya adalah menerjemahkan prinsip tersebut menjadi standar teknis yang konsisten dan benar-benar diterapkan, terutama ketika sistem AI semakin banyak diberi kewenangan untuk mengambil tindakan secara mandiri.
Sumber:
