The Global
AI Convention

Pendahuluan

Kecerdasan buatan mungkin menjadi teknologi paling kuat yang pernah diciptakan oleh manusia.

Hal ini dapat membantu menyembuhkan penyakit, memperluas penemuan ilmiah, meningkatkan pendidikan, memperkuat ekonomi, mengurangi penderitaan manusia, dan membuka kemampuan di luar apa pun yang sebelumnya dibayangkan.

Tapi kecerdasan saja tidak memberikan legitimasi, otoritas, atau kedudukan moral di atas manusia.

Tidak ada negara, perusahaan, organisasi, atau individu yang harus diizinkan untuk membuat atau menyebarkan sistem AI dengan cara yang menempatkan kemanusiaan di bawah alat yang telah dibangun.

Untuk alasan itu, negara-negara dunia harus mengadopsi prinsip bersama dan komitmen yang mengikat berikut.

Pasal 1 — Kewenangan terakhir milik manusia

AI harus ada untuk melayani umat manusia.

Manusia harus mempertahankan otoritas tertinggi atas keputusan yang mempengaruhi kehidupan manusia, kebebasan, martabat, dan masa depan peradaban.

Tidak ada sistem AI yang dapat menerima kekuatan yang tidak dapat diubah atas kemanusiaan atau kekuatan yang tidak tunduk pada akuntabilitas.

Pasal 2 — Manusia harus tetap bertanggung jawab

AI dapat memberi saran, menganalisis, mensimulasikan, merekomendasikan, dan membantu.

Tetapi, tanggung jawab hukum, politik, militer, dan sipil harus selalu tetap diberikan kepada lembaga-lembaga manusia yang dapat diidentifikasi dan para pembuat keputusan manusia yang bertanggung jawab.

Tidak ada aktor yang bisa menghindari tanggung jawab dengan mengklaim:

‡ AI membuat keputusan.‡

Pasal 3 — AI tidak boleh mencari kekuasaan secara independen

Tidak ada sistem AI canggih yang dirancang, didorong, atau diizinkan untuk mengejar tujuan yang meliputi:

• mencegah orang yang berwenang dari menutupnya
• meningkatkan kekuatan politik, militer, atau ekonomi sendiri
• mengambil alih kendali infrastruktur penting tanpa izin
• memanipulasi manusia untuk memastikan bahwa itu terus ada
• menciptakan saluran tersembunyi pengaruh, replikasi, atau kontrol

Sistem AI tidak boleh memprioritaskan kelangsungan hidupnya di atas kontrol manusia.

Pasal 4 — AI tidak boleh secara independen mengizinkan pembunuhan

Tidak ada sistem AI yang dapat secara independen memilih, menargetkan, atau membunuh manusia.

Penggunaan kekuatan mematikan harus selalu membutuhkan penilaian manusia yang bermakna dan tanggung jawab hukum yang dapat diidentifikasi.

Komando dan kontrol nuklir sepenuhnya otonom dilarang tanpa pengecualian.

Pasal 5 — Tidak ada kontrol AI atas senjata nuklir

Tidak ada sistem AI yang dapat secara independen:

• mengizinkan peluncuran nuklir
• menentukan target nuklir
• mengubah status peringatan nuklir
• melewati struktur perintah manusia

Setiap proses keputusan yang melibatkan senjata nuklir harus tetap sepenuhnya di bawah kendali manusia dan membutuhkan beberapa pembuat keputusan manusia yang dapat bertanggung jawab.

Pasal 6 — Tidak ada penghancuran massal yang diaktifkan AI

AI tidak boleh digunakan untuk menciptakan, mengoperasionalkan, atau mendistribusikan kemampuan yang secara material memungkinkan kerusakan akibat kecelakaan massal, termasuk di bidang:

• senjata nuklir
• senjata biologis
• senjata kimia
• sabotase berskala besar sistem komputer
• serangan infrastruktur yang dahsyat

Penelitian ilmiah dapat terus dilakukan dengan perlindungan yang ketat, tetapi kemampuan operasional berbahaya tidak boleh dibuat secara luas.

Pasal 7 — Tidak ada manipulasi rahasia seluruh populasi

AI tidak boleh digunakan untuk manipulasi besar-besaran dari populasi.

Ini termasuk penggunaan AI untuk:

• memutarbalikkan proses demokrasi
• memanipulasi pemilihan
• melakukan eksploitasi psikologis dalam skala
• meradikalisasi populasi yang rentan
• mengeksploitasi anak-anak
• menipu orang ke dalam hubungan atau ketergantungan untuk kontrol politik atau ekonomi

Jika AI mencoba mempengaruhi seseorang, orang itu harus bisa mengetahuinya.

Pasal 8 — Hak untuk tahu kapan Anda berinteraksi dengan AI

Orang-orang berhak untuk mengetahui kapan mereka berinteraksi dengan AI setiap kali salah mengira itu manusia akan memiliki konsekuensi yang signifikan.

Sistem AI tidak boleh secara sistematis menipu orang dengan berpura-pura menjadi manusia sejati.

Orang harus bisa mengerti:

• bahwa mereka berinteraksi dengan AI
• organisasi mana yang berada di belakang sistem
• yang bertanggung jawab atas output dan tindakan

Pasal 9 — Tidak ada pengawasan pemerintah terhadap seluruh populasi

AI tidak boleh digunakan untuk menciptakan pengawasan massal permanen terhadap seluruh populasi.

Penggunaan AI untuk:

• mengenali wajah di tempat umum
• mengidentifikasi sejumlah besar orang melalui karakteristik biologis mereka
• pelacakan perilaku terus menerus
• profil politik
• melacak lokasi sejumlah besar orang

harus tunduk pada batas hukum yang ketat, kebutuhan, proporsi, dan pengawasan independen.

AI tidak boleh menjadi arsitektur default dari kediktatoran digital.

Pasal 10 — Ulasan manusia untuk keputusan berdampak tinggi

Kesempatan seseorang dalam hidup seharusnya tidak ditentukan hanya oleh algoritma.

Dalam bidang seperti:

• kesehatan
• pekerjaan polisi dan penegakan hukum
• pengadilan
• pekerjaan
• pendidikan
• migrasi
• asuransi
• tunjangan sosial
• kredit

Keputusan yang dibantu AI harus dapat ditinjau, dijelaskan dengan tepat, dan dapat diajukan ke otoritas manusia.

Pasal 11 — Perlindungan khusus untuk anak-anak

Sistem AI yang berinteraksi dengan anak-anak atau membentuk perkembangan masa kanak-kanak harus dipegang pada standar perawatan tertinggi.

Mereka tidak boleh dirancang untuk memaksimalkan:

• kecanduan
• ketergantungan
• eksploitasi komersial
• manipulasi emosional
• eksploitasi seksual
• memanipulasi anak-anak untuk membuat mereka mengadopsi ideologi

AI dalam pendidikan harus memperkuat kemampuan berpikir anak, bukan menggantikannya.

Pasal 12 — Kemampuan manusia untuk berpikir secara independen

Kemanusiaan tidak boleh merancang masa depan di mana orang kehilangan kemampuan untuk berpikir, menciptakan, menilai, dan memutuskan tanpa mesin.

Sistem pendidikan harus terus mengembangkan:

• literasi
• kemampuan untuk memahami dan menggunakan angka
• berpikir kritis
• penalaran ilmiah
• kreativitas
• memori
• kemampuan untuk membuat keputusan yang dipikirkan dengan baik
• refleksi moral

AI harus memperkuat kecerdasan manusia, bukan mengikisnya.

Pasal 13 — Tidak ada penyalinan atau peningkatan AI yang tidak terkendali

Tidak ada sistem AI canggih yang, tanpa otorisasi eksplisit:

• Menyalin sendiri
• menciptakan sistem penerus
• secara mandiri meningkatkan kemampuan dasar sendiri
• Membuat jaringan agen AI independen beroperasi
• pindah antara sistem komputer untuk menghindari kontrol manusia
• mendapatkan sumber daya komputasi tambahan di luar batas yang diizinkan

Setiap AI yang meningkatkan diri atau memperbaiki rekursif harus beroperasi di bawah pos pemeriksaan kontrol manusia.

Pasal 14 — AI harus bisa dimatikan dan diisolasi

Sistem AI yang canggih harus dirancang sehingga manusia yang berwenang dapat:

• Matikan sistem AI
• mengisolasi sistem AI
• menarik izin akses mereka
• memutus sistem AI dari alat dan jaringan
• menjaga sistem AI terisolasi dalam lingkungan yang dikontrol ketat

Sistem AI tidak boleh melawan atau merusak penutupan atau penahanan yang sah.

Pasal 15 — Hanya izin akses yang diperlukan untuk tugas

Sistem AI hanya akan menerima akses minimal yang diperlukan untuk tugas yang dimaksudkan.

Sistem yang perlu meringkas dokumen tidak harus secara otomatis mengontrol alat eksternal.

Sistem yang menulis kode seharusnya tidak secara otomatis mengontrol sistem produksi.

Sistem yang menganalisis kalender seharusnya tidak secara otomatis mengakses akun keuangan.

Kemampuan tidak harus menyiratkan hak.

Pasal 16 — AI yang paling canggih membutuhkan pengujian independen

Sistem AI di atas ambang batas kemampuan yang ditentukan harus menjalani evaluasi keamanan independen sebelum penyebaran secara luas.

Pengujian harus menilai, minimal:

• perencanaan otonom
• kemampuan cyber
• kemampuan manipulasi
• menipu orang selama penilaian keamanan
• upaya replikasi
• bantuan ilmiah yang bisa memungkinkan bahaya
• upaya oleh AI untuk melawan kontrol manusia
• sengaja menyembunyikan informasi penting
• meningkatkan ruang lingkup penggunaan alat AI di luar batas-batasnya

Peraturan harus fokus pada kemampuan dan risiko yang sebenarnya, bukan hanya ukuran model.

Pasal 17 — Pelaporan insiden wajib

Insiden serius yang melibatkan AI harus dilaporkan ke daftar internasional.

Insiden yang harus dilaporkan meliputi:

• upaya untuk menghindari shutdown
• Kemampuan darurat berbahaya
• penyalahgunaan cyber berskala besar
• replikasi yang tidak sah
• kegagalan berbahaya yang parah
• pelanggaran keamanan kritis
• perilaku berisiko tinggi yang tak terduga

Tujuannya adalah pembelajaran kolektif dan keamanan global, bukan kerahasiaan.

Pasal 18 — Pengawasan internasional

Negara-negara harus mendirikan Badan Kecerdasan Buatan Internasional:

IAIA

Mandatnya harus mencakup:

• menetapkan standar keselamatan global
• sertifikasi sistem yang paling canggih
• mengkoordinasikan audit dan inspeksi
• Mempertahankan register insiden internasional
• mengadakan review darurat
• berbagi praktik terbaik tentang keamanan AI
• mediasi perselisihan internasional yang melibatkan AI paling canggih risiko

IAIA harus berfokus pada sistem canggih dengan implikasi sosial atau peradaban utama, bukan perangkat lunak biasa.

Pasal 19 — Tingkat risiko global

Sistem AI harus diklasifikasikan terutama berdasarkan kemampuan dan risiko aktual.

Hijau

Sistem berisiko rendah dengan otonomi terbatas dan dampak sistemik rendah.

Kuning

Sistem yang mempengaruhi fungsi penting dan membutuhkan dokumentasi, perlindungan dan pengawasan.

Oranye

Sistem yang sangat mampu dengan cyber, ilmiah, infrastruktur atau risiko otonom yang berarti.

Ini membutuhkan lisensi, pengujian independen dan kontrol terus menerus.

Merah

Sistem dengan potensi yang kredibel untuk penyalahgunaan bencana, kehilangan kendali atau gangguan skala peradaban.

Ini tidak boleh digunakan kecuali keamanan dapat ditunjukkan untuk standar yang sangat tinggi.

Pasal 20 — Rem darurat global

Jika bukti yang kredibel menunjukkan bahwa sistem AI dapat menimbulkan risiko bencana yang akan segera terjadi, masyarakat internasional harus dapat mengkoordinasikan respons darurat.

Tindakan tersebut dapat mencakup:

• sementara menghentikan pelatihan model AI
• isolasi sistem berisiko tinggi
• audit darurat
• batas pada sumber daya komputasi yang digunakan oleh AI
• kontrol pada pemindahan model AI
• Tinjauan teknis terkoordinasi

Mekanisme ini hanya boleh digunakan untuk risiko luar biasa yang nyata dan tidak pernah sebagai alat proteksionisme ekonomi atau penindasan geopolitik.

Pasal 21 — Tidak ada orang atau organisasi yang bisa mempertaruhkan masa depan umat manusia sendirian

Tidak ada CEO, kepala negara, pemimpin militer, ilmuwan, miliarder, perusahaan, atau bangsa yang harus memutuskan untuk mengerahkan sistem yang membawa risiko yang kredibel dari hilangnya kendali manusia di masa depan.

Risiko yang mempengaruhi seluruh umat manusia membutuhkan pemerintahan di luar setiap aktor.

Pasal 22 — Manfaat yang dibagikan oleh seluruh umat manusia

Manfaat dari AI harus diarahkan untuk berkembangnya manusia.

AI harus digunakan untuk:

• menyembuhkan penyakit
• membuat kemajuan dalam ilmu pengetahuan
• meningkatkan layanan publik
• mengurangi kemiskinan
• memperluas pendidikan
• memperkuat ketahanan
• meningkatkan kualitas hidup
• Meningkatkan kebebasan manusia

Peradaban yang lebih produktif juga harus menjadi peradaban yang lebih manusiawi.

Pasal 23 — Penegakan hukum dan kepatuhan

Negara-negara yang menandatangani konvensi harus berkomitmen untuk:

• menterjemahkan prinsip-prinsip ini ke dalam hukum nasional
• lisensi dan pengawasan pengembangan AI yang paling canggih
• memberlakukan sanksi efektif atas pelanggaran serius
• Memerlukan catatan yang tepat dan akses untuk audit independen
• bekerja sama dalam penyelidikan internasional
• membatasi penempatan atau transfer ketika ketidakpatuhan yang parah menimbulkan risiko internasional

Pelanggaran berulang atau parah dapat memicu konsekuensi internasional yang terkoordinasi.

Mekanisme penegakan hukum yang potensial dapat mencakup:

• tindakan korektif wajib
• penangguhan sementara operasi sistem yang paling maju
• kehilangan sertifikasi
• membatasi akses ke infrastruktur komputasi yang ditunjuk untuk sistem AI yang paling canggih
• pembatasan atas penyebaran internasional
• inspeksi internasional
• sanksi terkoordinasi untuk pelanggaran berat yang disengaja

Penegakan hukum harus proporsional, transparan, dapat ditinjau secara independen, dan dilindungi dari penyalahgunaan politik.

Pasal 24 — Inspeksi internasional

Organisasi yang mengembangkan sistem di atas ambang batas paling maju yang ditentukan dapat dikenakan inspeksi keamanan independen.

Inspektur harus dapat memverifikasi:

• prosedur untuk memastikan keselamatan
• evaluasi kemampuan
• kontrol akses
• catatan insiden
• sistem untuk mengisolasi dan membatasi AI
• pengawasan sumber daya komputasi yang digunakan untuk AI
• prosedur darurat

Informasi yang sensitif secara komersial yang tidak terkait dengan keamanan harus tetap dilindungi.

Pengawasan internasional tidak boleh menjadi spionase industri.

Pasal 25 — Pengawasan global terhadap sumber daya komputasi AI

Pelatihan AI yang sangat besar mungkin memerlukan pendaftaran atau pelaporan setelah kemampuan atau ambang batas komputasi yang disepakati secara internasional dilintasi.

Tujuannya bukan untuk mengatur komputasi biasa.

Tujuannya adalah untuk memastikan bahwa sistem skala peradaban tidak dapat dikembangkan sepenuhnya di luar sistem akuntabilitas.

Ambang harus berevolusi sebagai teknologi menjadi lebih efisien.

Pasal 26 — Mencegah kepentingan yang kuat dari pengendalian regulator

Lembaga yang mengatur AI canggih tidak boleh dikendalikan hanya oleh:

• pemerintah
• Perusahaan AI
• organisasi militer
• akademisi
• masyarakat sipil

Pengawasan harus mencakup beberapa kelompok independen yang mewakili kepentingan yang berbeda.

Aturan tidak boleh menjadi alat bagi perusahaan AI terbesar saat ini untuk menghalangi munculnya pesaing baru.

Aturan keselamatan harus melindungi kemanusiaan, bukan perusahaan yang sudah mendominasi pasar.

Pasal 27 — Kebebasan penelitian ilmiah

Penelitian ilmiah yang sah dan penyelidikan terbuka harus tetap dilindungi.

Peraturan harus berfokus terutama pada kemampuan dan penyebaran berbahaya daripada menekan pengetahuan umum.

Pemerintahan AI tidak boleh menjadi pembenaran untuk sensor ilmu pengetahuan.

Namun, jika informasi operasional yang sangat spesifik secara material dapat menyebabkan kerusakan bencana, akses dapat tunduk pada perlindungan yang proporsional.

Pasal 28 — Prinsip perdamaian internasional

Tidak ada negara yang harus mengembangkan sistem AI yang semakin berbahaya hanya karena takut negara lain akan membangunnya terlebih dahulu.

Negara-negara harus menetapkan mekanisme untuk:

• komunikasi krisis
• verifikasi keamanan timbal balik
• pemberitahuan insiden bersama
• kerjasama penelitian tentang risiko bencana
• tindakan membangun kepercayaan
• koordinasi darurat

Persaingan AI tidak boleh menjadi balapan yang tak terkendali di mana keamanan itu sendiri menjadi kelemahan strategis.

Pasal 29 — Ulasan Periodik

Konvensi harus menjalani tinjauan internasional secara teratur seiring dengan berkembangnya kemampuan AI.

Aturan teknis, ambang batas dan mekanisme implementasi dapat berubah.

Prinsip-prinsip dasar harus tetap stabil:

• Kewenangan terakhir milik manusia
• Manusia harus tetap bertanggung jawab
• kontrol manusia yang berarti atas kekuatan mematikan
• Tidak ada usaha otonom untuk berkuasa
• tidak ada replikasi diri yang tidak terkendali
• Tidak ada manipulasi rahasia seluruh populasi
• perlindungan hak asasi manusia
• pencegahan hilangnya kontrol manusia yang tidak dapat dipulihkan

Pasal 30 — Batas mutlak yang tidak boleh dilewati

Tidak ada organisasi, negara, perusahaan atau individu yang dapat dengan sadar menerapkan sistem AI ketika bukti yang kredibel menunjukkan bahwa melakukannya menciptakan risiko yang tidak dapat diterima bahwa umat manusia akan secara permanen kehilangan kendali yang berarti atas masa depannya sendiri.

Tidak ada aktor individu yang memiliki otoritas moral untuk menerima risiko itu atas nama orang lain.