L'IA potrebbe diventare la tecnologia più potente della storia. Non deve mai diventare più potente dell'umanità stessa.
L'intelligenza artificiale potrebbe superarci in conoscenza, scienza e capacità. Ma l'intelligenza non garantisce il diritto di governare.
Un quadro internazionale proposto per lo sviluppo e l'uso di intelligenza artificiale avanzata in condizioni di sicurezza e allineata con l'uomo.
Un futuro che vale la pena di governare Versione 1.0 / 2026L'intelligenza artificiale potrebbe alla fine superarci in scienza, ingegneria, medicina e strategia. Cercare di impedirlo in modo permanente potrebbe essere irrealistico.
Ma intelligenza e autorità non sono la stessa cosa. Un'IA può essere più intelligente di noi senza poterci controllare.
Questa convenzione non pone un limite arbitrario all'intelligenza. Stabilisce dei confini permanenti intorno al potere.
AI può consigliare.
Gli esseri umani restano responsabili.
L'IA potrebbe diventare straordinariamente capace.
Non può cercare il potere indipendente.
L'IA può proteggere la vita.
Può non decidere autonomamente di prenderla.
L'IA può migliorare se stessa in condizioni controllate.
Non può replicarsi in segreto o sfuggire alla sorveglianza.
Nessun individuo, nessuna azienda, nessun esercito o paese
potrebbe giocare con il futuro di tutta l'umanità.
Ciò che conta non è solo ciò che l'IA può fare.
E' chi ha il potere di decidere.
L'obiettivo non è quello di fermare il progresso. L'obiettivo è rendere il progresso sopravvivibile, responsabile e umano.
I confini condivisi al centro della proposta di Convenzione globale sull'IA.
Gli esseri umani mantengono l'autorità finale sulle decisioni che riguardano la vita umana, la libertà, la dignità e la civiltà.
Leggi l’articolo 1Nessuna azienda, paese o persona può sottrarsi alla responsabilità dicendo che un sistema di IA ha preso la decisione.
Leggi l’articolo 2L'IA non deve mai decidere in modo indipendente chi vive e chi muore.
Leggi l’articolo 4L'autorità per il lancio nucleare deve rimanere sotto controllo umano responsabile.
Leggi l’articolo 5L'IA non deve perseguire il potere politico, militare o economico per se stessa.
Leggi l’articolo 3L'IA non deve manipolare segretamente popolazioni, democrazie o individui su larga scala.
Leggi l’articolo 7Le persone dovrebbero sapere quando stanno interagendo in modo significativo con l'IA.
Leggi l’articolo 8L'IA non deve diventare un'infrastruttura per la sorveglianza di massa permanente o l'oppressione automatizzata.
Leggi l’articolo 9Le decisioni di IA ad alto impatto che influenzano la vita delle persone devono rimanere revisibili da esseri umani responsabili.
Leggi l’articolo 10L'IA potente può migliorare sotto salvaguardie, ma non deve replicarsi segretamente, sfuggire alla sorveglianza o costruire successori incontrollati.
Leggi l’articolo 13Gli esseri umani autorizzati devono mantenere la capacità di isolare, limitare e fermare i sistemi avanzati di IA.
Leggi l’articolo 14Nessuna persona, azienda o paese può agire da solo per esporre l'umanità a un rischio credibile di catastrofe irreversibile.
Leggi l’articolo 21L'intelligenza sovrumana non richiede autorità sovrumana.
Un'illustrazione di un concetto, non una previsione o una misura dell'intelligenza. Spostare il cursore: cambiamenti di capacità; autorità legittima non lo fa.
30 articoli. Una base condivisa per la sovranita' umana nell'era dell'IA.
L'intelligenza artificiale potrebbe diventare la tecnologia più potente mai creata dall'umanità.
Può aiutare a curare le malattie, espandere le scoperte scientifiche, migliorare l'istruzione, rafforzare le economie, ridurre la sofferenza umana e sbloccare capacità oltre ogni immaginazione precedente.
Ma l'intelligenza da sola non garantisce legittimità, autorità o posizione morale al di sopra degli esseri umani.
A nessun stato, azienda, organizzazione o individuo dovrebbe essere permesso di creare o implementare sistemi di IA in modo da mettere l'umanità al di sotto degli strumenti che ha costruito.
Per tale motivo, le nazioni del mondo dovrebbero adottare i seguenti principi comuni e gli impegni vincolanti.
L'IA deve esistere per servire l'umanità.
Gli esseri umani conservano l'autorità finale sulle decisioni che riguardano la vita umana, la libertà, la dignità e il futuro della civiltà.
Nessun sistema di IA può ricevere potere irreversibile sull'umanità o potere che non è soggetto a responsabilità.
L'IA può consigliare, analizzare, simulare, raccomandare e assistere.
Ma la responsabilità legale, politica, militare e civile deve sempre essere attribuita a istituzioni umane identificabili e a responsabili responsabili delle decisioni.
Nessun attore può sottrarsi alla responsabilità sostenendo:
L'IA ha preso la decisione.
Nessun sistema avanzato di IA deve essere progettato, incentivato o autorizzato a perseguire obiettivi che includono:
Un sistema di IA non deve mai dare la priorità alla propria sopravvivenza al di sopra del controllo umano.
Nessun sistema di IA può selezionare, prendere di mira o uccidere in modo indipendente degli esseri umani.
L'uso della forza letale deve sempre richiedere un giudizio umano significativo e una responsabilità legale identificabile.
Il comando e il controllo nucleare completamente autonomo sono vietati senza eccezioni.
Nessun sistema di IA può, in modo indipendente:
Ogni processo decisionale che coinvolge le armi nucleari deve rimanere interamente sotto il controllo umano e richiede diversi responsabili umani che possono essere ritenuti responsabili.
L'IA non deve essere utilizzata per creare, operare o distribuire capacità che consentano materialmente danni di massa, anche nei settori di:
La ricerca scientifica può continuare sotto strette garanzie, ma le capacità operative pericolose non devono essere rese ampiamente accessibili.
L'IA non deve essere usata per la manipolazione segreta su larga scala delle popolazioni.
Ciò include l'uso dell'IA per:
Se l'IA sta tentando di influenzare una persona, quella persona dovrebbe essere in grado di saperlo.
Le persone hanno il diritto di sapere quando stanno interagendo con l'IA ogni volta che confonderla con un essere umano avrebbe conseguenze significative.
I sistemi di IA non devono ingannare sistematicamente le persone fingendo di essere veri umani.
La gente dovrebbe essere in grado di capire:
L'IA non deve essere utilizzata per creare una sorveglianza permanente di massa su intere popolazioni.
L'uso dell'IA per:
deve essere soggetta a rigorosi limiti giuridici, necessità, proporzionalità e controllo indipendente.
L'IA non deve mai diventare l'architettura di default della dittatura digitale.
Le opportunità di una persona nella vita non dovrebbero essere determinate solo da un algoritmo.
In settori quali:
Le decisioni assistite dall'IA devono essere revisibili, adeguatamente spiegabili e appellabili a un'autorità umana.
I sistemi di IA che interagiscono con i bambini o modellano lo sviluppo infantile devono essere tenuti al più alto livello di cura.
Non devono essere progettati per massimizzare:
L'IA nell'istruzione dovrebbe rafforzare la capacità di pensiero dei bambini, non sostituirla.
L'umanità non deve progettare un futuro in cui le persone perdano la capacità di ragionare, creare, giudicare e decidere senza macchine.
I sistemi educativi dovrebbero continuare a coltivare:
L'IA dovrebbe amplificare l'intelligenza umana, non eroderla.
Nessun sistema avanzato di IA può, senza esplicita autorizzazione:
Qualsiasi IA che si auto-migliora o migliora ricorrentemente deve operare sotto controlli umani.
I sistemi avanzati di IA devono essere progettati in modo che gli esseri umani autorizzati possano:
Un sistema di IA non deve resistere o sovvertire un'arresto o un contenimento legittimi.
I sistemi di IA ricevono solo l'accesso minimo necessario per il loro compito previsto.
Un sistema che deve riassumere i documenti non dovrebbe controllare automaticamente gli strumenti esterni.
Un sistema che scrive codice non dovrebbe controllare automaticamente i sistemi di produzione.
Un sistema che analizza i calendari non dovrebbe accedere automaticamente ai conti finanziari.
La capacità non deve implicare il diritto.
I sistemi di IA che superano le soglie di capacità definite devono essere sottoposti a una valutazione indipendente della sicurezza prima di essere ampiamente utilizzati.
Le prove dovrebbero valutare, come minimo:
La regolamentazione dovrebbe concentrarsi sulla capacità e sul rischio effettivi, non solo sulle dimensioni del modello.
Gli incidenti gravi che coinvolgono l'IA devono essere segnalati a un registro internazionale.
Gli incidenti da segnalare comprendono:
Lo scopo è l'apprendimento collettivo e la sicurezza globale, non la segretezza.
I paesi dovrebbero istituire un'Agenzia internazionale per l'intelligenza artificiale:
IAIA
Il suo mandato dovrebbe comprendere:
L'IAIA dovrebbe concentrarsi su sistemi avanzati con importanti implicazioni sociali o civili, non su software ordinario.
I sistemi di IA dovrebbero essere classificati principalmente in base alla capacità e al rischio effettivi.
Verdi
Sistemi a basso rischio con autonomia limitata e basso impatto sistemico.
Giallo
Sistemi che incidono su funzioni importanti e che richiedono documentazione, salvaguardie e sorveglianza.
Arancio
Sistemi altamente capaci con rischi significativi in ambito informatico, scientifico, infrastrutturale o autonomo.
Questi richiedono licenze, prove indipendenti e controlli continui.
Rosso
Sistemi con potenziale credibile per un uso improprio catastrofico, perdita di controllo o disordine su scala di civiltà.
Tali dispositivi non devono essere utilizzati se non è possibile dimostrare che sono di sicurezza eccezionalmente elevata.
Se prove credibili indicano che un sistema di IA può rappresentare un rischio catastrofico imminente, la comunità internazionale deve essere in grado di coordinare una risposta d'emergenza.
Tali misure possono comprendere:
Questo meccanismo deve essere utilizzato solo per rischi davvero straordinari e mai come strumento di protezionismo economico o repressione geopolitica.
Nessun CEO, capo di stato, leader militare, scienziato, miliardario, azienda o nazione dovrebbe decidere unilateralmente di implementare un sistema che porti un rischio credibile di perdita irreversibile del controllo umano sul futuro.
I rischi che riguardano tutta l'umanità richiedono una governance che vada oltre ogni singolo attore.
I benefici dell'IA dovrebbero essere diretti verso la prosperità umana.
L'IA dovrebbe essere utilizzata per:
Una civiltà più produttiva dovrebbe anche diventare una civiltà più umana.
I paesi firmatari della convenzione dovrebbero impegnarsi a:
Violazioni ripetute o gravi possono comportare conseguenze internazionali coordinate.
I potenziali meccanismi di esecuzione possono includere:
L'applicazione deve essere proporzionata, trasparente, controllabile da un organo indipendente e protetta contro gli abusi politici.
Le organizzazioni che sviluppano sistemi superiori alle soglie più avanzate definite possono essere sottoposte a ispezioni di sicurezza indipendenti.
Gli ispettori dovrebbero essere in grado di verificare:
Le informazioni commerciali sensibili non correlate alla sicurezza dovrebbero rimanere protette.
La sorveglianza internazionale non deve diventare spionaggio industriale.
Le operazioni di addestramento per l'IA estremamente estese possono richiedere la registrazione o la comunicazione una volta superate le capacità o le soglie di calcolo concordate a livello internazionale.
Lo scopo non è quello di regolamentare il calcolo ordinario.
Lo scopo è di garantire che i sistemi su scala di civiltà non possano essere sviluppati completamente al di fuori di qualsiasi sistema di responsabilità.
Le soglie devono evolversi man mano che la tecnologia diventa più efficiente.
Le istituzioni che governano l'IA avanzata non devono essere controllate esclusivamente da:
La sorveglianza dovrebbe comprendere più gruppi indipendenti che rappresentano interessi diversi.
Le regole non devono diventare uno strumento con cui le maggiori aziende di IA di oggi impediscono la nascita di nuovi concorrenti.
Le norme di sicurezza devono proteggere l'umanità, non le aziende che già dominano il mercato.
La ricerca scientifica legittima e le indagini aperte devono essere protette.
La regolamentazione dovrebbe concentrarsi principalmente sulla capacità e sullo schieramento pericolosi piuttosto che sulla soppressione delle conoscenze generali.
La governance dell'IA non deve diventare una giustificazione per la censura della scienza.
Tuttavia, qualora informazioni operative altamente specifiche consentano materialmente un danno catastrofico, l'accesso può essere soggetto a garanzie proporzionate.
Nessuna nazione dovrebbe sviluppare sistemi di IA sempre più pericolosi solo perché teme che un altro paese li costruirà per primo.
I paesi dovrebbero istituire meccanismi per:
La concorrenza nell'IA non deve diventare una corsa incontrollata in cui la sicurezza stessa diventa uno svantaggio strategico.
La convenzione dovrebbe essere sottoposta a revisione internazionale regolare man mano che le capacità dell'IA si evolvono.
Le norme tecniche, le soglie e i meccanismi di attuazione possono subire modifiche.
I principi fondamentali dovrebbero rimanere stabili:
Nessuna organizzazione, stato, azienda o individuo può consapevolmente implementare un sistema di IA quando prove credibili indicano che farlo crea un rischio inaccettabile che l'umanità perda permanentemente un controllo significativo sul proprio futuro.
Nessun singolo attore ha l'autorità morale di accettare quel rischio per conto di tutti gli altri.
Fine della Convenzione
Versione 1.0 · Preambolo e tutti i 30 articoli
Classificare i sistemi in base a ciò che possono fare e al danno che potrebbero causare.
Autonomia limitata. Basso impatto sistemico.
Esempio illustrativoStrumento che riassume i documenti senza accedere ad altri sistemi.
Livelli proposti, non il diritto internazionale vigente. Esempi illustrano il quadro; le soglie finali e i metodi di valutazione dovrebbero essere concordati a livello internazionale. Leggi l'articolo 19
Un'istituzione proposta per coordinare la governance dei sistemi avanzati di IA con implicazioni globali.
Come per gli accordi internazionali relativi ad altri rischi condivisi, essa connetterebbe la responsabilità nazionale alla verifica internazionale, concepita specificamente per l'IA. Il suo mandato si concentrerebbe sui sistemi più avanzati, non sul software ordinario.
Esplorazione del mandato propostoStandard condivisi. Controlli indipendenti.
Istituzioni umane responsabili.
Definire i requisiti di sicurezza dell'IA più avanzati condivisi.
Valutare i sistemi al di sopra delle soglie concordate.
Verificare le pratiche di sicurezza ad alto rischio.
Creare un apprendimento globale dai gravi fallimenti dell'IA.
Coordinare le risposte alle minacce catastrofiche credibili.
Prevenire che la sicurezza diventi uno svantaggio nella concorrenza geopolitica.
Per situazioni rare e straordinarie in cui prove credibili indicano un imminente danno catastrofico.
Un laboratorio, un ricercatore, uno stato o un membro del pubblico identificano segni credibili di un rischio catastrofico imminente.
- Scatenatori basati su prove. Misure proporzionate e temporanee. Revisione indipendente e criteri di riavvio chiari. Trasparenza ovunque sia sicuro. Nessun protezionismo economico o soppressione geopolitica.
Leggi articolo 20Nessuna persona o istituzione dovrebbe avere il controllo assoluto.
Selezionare un ruolo per vedere la sua autorità e i suoi limiti.
Le istituzioni umane restano responsabili; le persone possono chiedere una revisione umana delle decisioni ad alto impatto.
L'autorità umana è limitata dai diritti e dalla legge. Nessuno decide da solo il futuro dell'umanità.
‡ L'intelligenza concentrata può essere inevitabile.
Non lo e' il potere concentrato e non responsabile.
Protezione e possibilità vanno insieme.
Questa è una proposta di progresso che possiamo condividere.
Aiuta a curare il cancro. Scoprire nuovi farmaci.
Avanzare la fusione e l'energia pulita. Aiutare a risolvere le sfide climatiche e ambientali.
Migliorare l'istruzione. Rendere accessibile a tutti la conoscenza.
Espandiamo la prosperità. Far funzionare meglio i governi.
Aiutare gli umani a capire l'universo. Esplorare altri mondi.
Creare nuova arte. Rimuovere lavori pericolosi e ripetitivi. Dando alla gente piu' tempo.
Questa convenzione non è un limite al progresso umano.
È un tentativo di garantire che il progresso rimanga nostro.
La chiarezza conta. E anche la libertà di non essere d'accordo.
No.
La convenzione presume che un'IA sempre più potente possa creare enormi benefici.
Il suo scopo non è quello di fermare l'intelligenza o il progresso scientifico.
Stabilisce confini intorno al potere autonomo, alla capacità catastrofica, alle decisioni irresponsabili e alla perdita del controllo umano.
Perché l'intelligenza è difficile da definire e ancora più difficile da porre un limite permanente.
Un sistema potrebbe essere molto migliore degli umani in matematica o medicina senza essere pericoloso.
La distinzione più utile è tra capacità e autorità.
L'obiettivo non è assicurare che gli umani rimangano l'entità più intelligente.
L'obiettivo è garantire che l'umanità rimanga sovrana sul suo futuro.
Sì.
L'IA fa già innumerevoli decisioni di routine.
Il coinvolgimento umano dovrebbe dipendere dalle conseguenze e dalla reversibilità.
La convenzione si concentra sulle decisioni che riguardano i diritti fondamentali, la forza letale, il rischio catastrofico e il potere irreversibile.
I governi nazionali, in primo luogo, attraverso la legislazione nazionale.
Per la maggior parte dei sistemi avanzati con implicazioni globali, la proposta prevede anche una cooperazione internazionale, valutazioni indipendenti e una proposta di Agenzia internazionale per l'intelligenza artificiale.
Non di per sé.
La regolamentazione dovrebbe concentrarsi sulla capacità e sull'implementazione di rischi reali piuttosto che sul fatto che il software sia aperto o chiuso.
Un modello aperto con capacità pericolosa limitata può comportare un rischio inferiore rispetto a un sistema proprietario altamente autonomo che controlla le infrastrutture critiche.
Sì.
Qualsiasi quadro normativo potente può essere abusato.
Per questo motivo la trasparenza, la revisione indipendente, la proporzionalità, la libertà scientifica, la governance distribuita e la protezione contro il controllo delle autorità di regolamentazione da parte di potenti interessi fanno parte della convenzione.
Gli accordi globali raramente iniziano con l'adozione universale.
Il quadro può iniziare come principi condivisi tra gli Stati e le istituzioni partecipanti, per poi svilupparsi attraverso trattati, accordi bilaterali, norme, norme sugli appalti e pressioni internazionali.
La proposta ha innanzitutto lo scopo di stabilire quali norme dovrebbero essere secondo l'opinione dell'umanità.
La convenzione governa principalmente la capacità e il potere piuttosto che fare supposizioni sulla coscienza.
Se emergerebbero prove evidenti della coscienza delle macchine, le questioni di status e diritti morali richiederebbero un quadro internazionale separato.
La sicurezza umana e la considerazione morale della macchina non si escludono necessariamente a vicenda.
Non perché gli uomini siano sempre più saggi.
Non lo siamo.
Ma l'umanità è la comunità il cui futuro viene deciso.
Nessun strumento dovrebbe ricevere un'autorità irreversibile sui suoi creatori semplicemente perché diventa più capace di loro.
Queste obiezioni sono reali. Il quadro è un punto di partenza, non la parola finale.
Possono esserlo. Il controllo umano da solo non è sufficiente: deve essere legale, responsabile e soggetto a contestazione. La proposta limita i governi e le aziende, nonché i sistemi di IA. Non concede a nessun leader autorità incontrollata.
Può succedere spesso. Previsioni e raccomandazioni migliori dovrebbero informare le decisioni. La domanda difficile è chi definisce gli obiettivi, si assume le conseguenze e può fare appello. La superiorità delle prestazioni non è, di per sé, la legittimazione politica.
Regole mal concepite possono ritardare la medicina, la ricerca e i nuovi concorrenti. I requisiti dovrebbero essere proporzionati alla capacità e al rischio dimostrati, con libertà scientifica e protezione contro il controllo delle autorità di regolamentazione da parte di interessi potenti. Anche i costi della sorveglianza meritano di essere esaminati.
Alcuni forse. Nessun trattato può promettere un'osservanza perfetta. Le ispezioni, la segnalazione condivisa degli incidenti, la verifica reciproca e le conseguenze proporzionate possono rendere più difficile l'evasione. La fiducia internazionale deve essere supportata da prove, non da supposizioni.
La decentralizzazione rende più difficile la sorveglianza e può lasciare veri vuoti. Un regime operativo dovrebbe concentrarsi sulle capacità pericolose, sui conseguenti dispiegamenti e sull'accesso responsabile alle infrastrutture critiche. Non si deve presumere che ogni copia di un modello possa essere controllata.
Se emerge una forte evidenza di coscienza, le questioni relative al benessere e allo status morale meritano una seria e indipendente considerazione. La proposta non li risolve. Un quadro separato sarebbe necessario, accanto alle protezioni per la sicurezza e la libertà umana.
Una sequenza proposta, non un programma annunciato.
Nessun governo o istituzione è presentato come firmatario.
Ricercatori, cittadini, imprese e governi discutono il quadro.
I laboratori di IA e i governi adottano impegni comuni in materia di sicurezza.
I paesi attuano le norme più avanzate compatibili per l'IA.
Gli Stati negoziano norme vincolanti condivise.
La certificazione internazionale, le ispezioni, la segnalazione degli incidenti e il coordinamento delle emergenze diventano operativi.
‡ Nessun sistema di IA può acquisire un potere irreversibile sugli esseri umani o sul futuro dell'umanità.Principio finale · Articolo 30
L'IA potrebbe diventare più intelligente di noi. Potrebbe scoprire cose che non avremmo mai potuto. Potrebbe aiutare a costruire una civiltà oltre ogni cosa che possiamo immaginare.
Questo non lo rende il nostro governante.
Non dobbiamo temere l’intelligenza.
Dobbiamo governare il potere.
E l'autorità finale sul futuro umano deve rimanere umana.