La IA puede convertirse en la tecnología más poderosa de la historia. Nunca debe llegar a ser más poderoso que la humanidad misma.
La inteligencia artificial puede superarnos en conocimiento, ciencia y capacidad. Pero la inteligencia no otorga el derecho a gobernar.
Un marco internacional propuesto para el desarrollo y uso seguros y alineados con el ser humano de la inteligencia artificial avanzada.
Un futuro que vale la pena gobernar Versión 1.0 / 2026La inteligencia artificial puede eventualmente superarnos en ciencia, ingeniería, medicina y estrategia. Tratar de evitar permanentemente eso puede ser poco realista.
Pero la inteligencia y la autoridad no son lo mismo. Una IA puede ser más inteligente que nosotros sin tener permiso para controlarnos.
Esta convención no establece un límite arbitrario para la inteligencia. Establece límites permanentes alrededor del poder.
AI puede aconsejar.
Los humanos siguen siendo responsables.
La IA puede llegar a ser extraordinariamente capaz.
No puede buscar el poder independiente.
La IA puede proteger la vida.
Puede que no decida tomarla de forma independiente.
La IA puede mejorarse a sí misma bajo condiciones controladas.
No puede replicarse en secreto ni escapar de la supervisión.
Ningún individuo, compañía, ejército o país
puede jugar con el futuro de toda la humanidad.
Lo que importa no es sólo lo que la IA puede hacer.
Es quien tiene el poder de decidir.
El objetivo no es detener el progreso. El objetivo es hacer que el progreso sea viable, responsable y humano.
Las fronteras compartidas en el corazón de la propuesta Convención Global sobre IA.
Los seres humanos conservan la autoridad final sobre las decisiones que afectan a la vida humana, la libertad, la dignidad y la civilización.
Leer el artículo 1Ninguna empresa, país o persona puede evitar la responsabilidad diciendo que un sistema de IA tomó la decisión.
Leer el artículo 2La IA nunca debe decidir de forma independiente quién vive o muere.
Leer el artículo 4La autoridad de lanzamiento nuclear debe permanecer bajo control humano responsable.
Leer el artículo 5La IA no debe buscar el poder político, militar o económico para sí misma.
Leer el artículo 3La IA no debe manipular en secreto a las poblaciones, democracias o individuos a gran escala.
Leer el artículo 7La gente debería saber cuándo interactúan de manera significativa con la IA.
Leer el artículo 8La IA no debe convertirse en una infraestructura para la vigilancia masiva permanente o la opresión automatizada.
Leer el artículo 9Las decisiones de IA de alto impacto que afectan la vida de las personas deben seguir siendo revisables por humanos responsables.
Leer el artículo 10La IA poderosa puede mejorar bajo salvaguardas, pero no debe replicarse en secreto, escapar de la supervisión o construir sucesores incontrolados.
Leer el artículo 13Los humanos autorizados deben conservar la capacidad de aislar, restringir y detener los sistemas avanzados de IA.
Leer el artículo 14Ninguna persona, empresa o país puede actuar solo para exponer a la humanidad a un riesgo creíble de una catástrofe irreversible.
Leer el artículo 21La inteligencia sobrehumana no requiere autoridad sobrehumana.
Una ilustración de concepto, no un pronóstico o una medida de inteligencia. Mueva el control deslizante: la capacidad cambia; la autoridad legítima no.
30 artículos. Una base compartida para la soberanía humana en una era de IA.
La inteligencia artificial puede convertirse en la tecnología más poderosa jamás creada por la humanidad.
Puede ayudar a curar enfermedades, expandir los descubrimientos científicos, mejorar la educación, fortalecer las economías, reducir el sufrimiento humano y desbloquear capacidades más allá de cualquier cosa que se haya imaginado anteriormente.
Pero la inteligencia por sí sola no otorga legitimidad, autoridad o posición moral por encima de los seres humanos.
A ningún estado, empresa, organización o individuo se le debe permitir crear o desplegar sistemas de IA de manera que coloque a la humanidad debajo de las herramientas que ha construido.
Por esta razón, las naciones del mundo deberían adoptar los siguientes principios comunes y compromisos vinculantes.
La IA debe existir para servir a la humanidad.
Los seres humanos conservarán la autoridad final sobre las decisiones que afectan a la vida humana, la libertad, la dignidad y el futuro de la civilización.
Ningún sistema de IA puede recibir un poder irreversible sobre la humanidad o un poder que no esté sujeto a rendición de cuentas.
La IA puede asesorar, analizar, simular, recomendar y ayudar.
Pero la responsabilidad legal, política, militar y civil siempre debe ser atribuible a instituciones humanas identificables y a tomadores de decisiones humanos responsables.
Ningún actor puede evadir su responsabilidad alegando:
La IA tomó la decisión.
No se diseñará, incentivará ni permitirá que ningún sistema avanzado de IA persiga objetivos que incluyan:
Un sistema de IA nunca debe priorizar su propia supervivencia por encima del control humano.
Ningún sistema de IA puede seleccionar, atacar o matar a seres humanos de forma independiente.
El uso de la fuerza letal siempre debe requerir un juicio humano significativo y una responsabilidad legal identificable.
El mando y el control nucleares totalmente autónomos están prohibidos sin excepción.
Ningún sistema de IA podrá, de forma independiente:
Todo proceso de decisión que involucre armas nucleares debe permanecer completamente bajo control humano y requiere varios tomadores de decisiones humanos que puedan ser considerados responsables.
La IA no debe utilizarse para crear, poner en funcionamiento o distribuir capacidades que permitan materialmente daños de siniestro masivo, incluidos los ámbitos de:
La investigación científica puede continuar bajo estrictas salvaguardias, pero la capacidad operativa peligrosa no debe hacerse ampliamente accesible.
La IA no debe ser utilizada para la manipulación encubierta a gran escala de las poblaciones.
Esto incluye el uso de la IA para:
Si la IA está intentando influir en una persona, esa persona debería poder saberlo.
Las personas tienen derecho a saber cuándo están interactuando con la IA siempre que confundirla con un ser humano tenga consecuencias significativas.
Los sistemas de IA no deben engañar sistemáticamente a las personas fingiendo ser humanos reales.
La gente debería ser capaz de entender:
La IA no debe utilizarse para crear una vigilancia masiva permanente de poblaciones enteras.
El uso de la IA para:
debe estar sujeto a estrictos límites legales, necesidad, proporcionalidad y supervisión independiente.
La IA nunca debe convertirse en la arquitectura predeterminada de la dictadura digital.
Las oportunidades de ninguna persona en la vida deben ser determinadas sólo por un algoritmo.
En ámbitos como:
Las decisiones asistidas por IA deben ser revisables, explicables adecuadamente y apelables ante una autoridad humana.
Los sistemas de IA que interactúan con los niños o dan forma al desarrollo infantil deben mantenerse al más alto nivel de atención.
No deben diseñarse para maximizar:
La IA en la educación debe fortalecer la capacidad de pensamiento de un niño, no reemplazarla.
La humanidad no debe diseñar un futuro en el que la gente pierda la capacidad de razonar, crear, juzgar y decidir sin máquinas.
Los sistemas educativos deben seguir fomentando:
La IA debería amplificar la inteligencia humana, no corroerla.
Ningún sistema avanzado de IA podrá, sin autorización explícita:
Cualquier IA que se mejore a sí misma o mejore recursivamente debe operar bajo puntos de control humanos.
Los sistemas avanzados de IA deben diseñarse para que los humanos autorizados puedan:
Un sistema de IA no debe resistir o subvertir el cierre o la contención legítimos.
Los sistemas de IA solo tendrán el acceso mínimo necesario para su tarea prevista.
Un sistema que necesita resumir documentos no debe controlar automáticamente las herramientas externas.
Un sistema que escribe código no debe controlar automáticamente los sistemas de producción.
Un sistema que analiza calendarios no debe acceder automáticamente a las cuentas financieras.
La capacidad no debe implicar el derecho.
Los sistemas de IA que superen los umbrales de capacidad definidos deben someterse a una evaluación independiente de la seguridad antes de su amplia utilización.
Los ensayos deben evaluar, como mínimo:
La regulación debe centrarse en la capacidad y el riesgo reales, no solo en el tamaño del modelo.
Los incidentes graves relacionados con la IA deben notificarse a un registro internacional.
Los incidentes que deben notificarse incluyen:
El propósito es el aprendizaje colectivo y la seguridad global, no el secreto.
Los países deberían crear una Agencia Internacional de Inteligencia Artificial:
IAIA
Su mandato debe incluir:
El AIAI debe centrarse en sistemas avanzados con importantes implicaciones sociales o civilizacionales, no en software ordinario.
Los sistemas de IA deben clasificarse principalmente por su capacidad y riesgo reales.
Verde y verde
Sistemas de bajo riesgo con autonomía limitada y bajo impacto sistémico.
Amarillo
Sistemas que afectan a funciones importantes y requieren documentación, salvaguardas y supervisión.
Naranja
Sistemas de alta capacidad con riesgos cibernéticos, científicos, de infraestructura o autónomos significativos.
Estos requieren licencias, pruebas independientes y controles continuos.
Rojo
Sistemas con un potencial creíble para un mal uso catastrófico, pérdida de control o interrupción a escala de la civilización.
No se deben utilizar a menos que se pueda demostrar que la seguridad es excepcionalmente alta.
Si la evidencia creíble indica que un sistema de IA puede representar un riesgo catastrófico inminente, la comunidad internacional debe ser capaz de coordinar una respuesta de emergencia.
Dichas medidas podrán incluir:
Este mecanismo sólo debe utilizarse para riesgos extraordinarios y nunca como una herramienta de proteccionismo económico o represión geopolítica.
Ningún CEO, jefe de estado, líder militar, científico, multimillonario, compañía o nación debería decidir unilateralmente desplegar un sistema que conlleve un riesgo creíble de pérdida irreversible del control humano sobre el futuro.
Los riesgos que afectan a toda la humanidad requieren una gobernanza más allá de cualquier actor.
Los beneficios de la IA deberían ser dirigidos hacia el florecimiento humano.
La IA debe utilizarse para:
Una civilización más productiva también debe convertirse en una civilización más humana.
Los países que firmen el convenio deben comprometerse a:
Las violaciones repetidas o graves pueden provocar consecuencias internacionales coordinadas.
Los posibles mecanismos de ejecución pueden incluir:
La aplicación debe ser proporcionada, transparente, revisada de forma independiente y protegida contra los abusos políticos.
Las organizaciones que desarrollen sistemas por encima de los umbrales más avanzados definidos podrán estar sujetas a inspecciones de seguridad independientes.
Los inspectores deben poder verificar:
La información comercialmente sensible no relacionada con la seguridad debe seguir estando protegida.
La supervisión internacional no debe convertirse en espionaje industrial.
Las sesiones de formación de IA extremadamente grandes pueden requerir registro o presentación de informes una vez que se superen los umbrales de capacidad o computación acordados internacionalmente.
El propósito no es regular la computación ordinaria.
El propósito es asegurar que los sistemas a escala de la civilización no se puedan desarrollar por completo fuera de cualquier sistema de rendición de cuentas.
Los umbrales deben evolucionar a medida que la tecnología se vuelve más eficiente.
Las instituciones que rigen la IA avanzada no deben estar controladas únicamente por:
La supervisión debe incluir múltiples grupos independientes que representen diferentes intereses.
Las reglas no deben convertirse en un instrumento para que las mayores empresas de IA actuales impidan la aparición de nuevos competidores.
Las normas de seguridad deben proteger a la humanidad, no a las empresas que ya dominan el mercado.
La investigación científica legítima y la investigación abierta deben seguir estando protegidas.
La regulación debe centrarse principalmente en la capacidad y el despliegue peligrosos en lugar de suprimir el conocimiento general.
La gobernanza de la IA no debe convertirse en una justificación para la censura de la ciencia.
No obstante, cuando la información operativa altamente específica permita materialmente un daño catastrófico, el acceso podrá estar sujeto a salvaguardias proporcionadas.
Ninguna nación debería desarrollar sistemas de IA cada vez más peligrosos solo porque teme que otro país los construya primero.
Los países deben establecer mecanismos para:
La competencia de la IA no debe convertirse en una carrera incontrolada donde la seguridad misma se convierte en una desventaja estratégica.
La convención debe someterse a una revisión internacional regular a medida que evolucionen las capacidades de la IA.
Las normas técnicas, los umbrales y los mecanismos de aplicación pueden cambiar.
Los principios fundamentales deben mantenerse estables:
Ninguna organización, estado, empresa o individuo puede desplegar a sabiendas un sistema de IA cuando la evidencia creíble indica que hacerlo crea un riesgo inaceptable de que la humanidad pierda permanentemente el control significativo sobre su propio futuro.
Ningún actor individual tiene la autoridad moral para aceptar ese riesgo en nombre de todos los demás.
Fin del Convenio
Versión 1.0 · Preámbulo y los 30 artículos
Clasificar los sistemas por lo que pueden hacer y el daño que podrían causar.
Autonomía limitada. Bajo impacto sistémico.
Ejemplo ilustrativoUna herramienta que resume documentos sin tener que acceder a otros sistemas.
Los niveles propuestos, no el derecho internacional vigente. Los ejemplos ilustran el marco; los umbrales finales y los métodos de evaluación tendrían que acordarse a nivel internacional. Leer el artículo 19
Una institución propuesta para coordinar la gobernanza de sistemas avanzados de IA con implicaciones globales.
Al igual que los acuerdos internacionales para otros riesgos compartidos, conectaría la responsabilidad nacional con la verificación internacional diseñada específicamente para la IA. Su mandato se centraría en los sistemas más avanzados, no en el software ordinario.
Explorar el mandato propuestoEstándares compartidos. Se han realizado controles independientes.
Instituciones humanas responsables.
Definir los requisitos comunes de seguridad más avanzados de la IA.
Evaluar los sistemas por encima de los umbrales acordados.
Verificar las prácticas de seguridad de alto riesgo.
Crear aprendizaje global de los graves fracasos de la IA.
Coordinar las respuestas a las amenazas catastróficas creíbles.
Evitar que la seguridad se convierta en una desventaja en la competencia geopolítica.
Para situaciones raras y extraordinarias en las que la evidencia creíble apunta a un daño catastrófico inminente.
Un laboratorio, un investigador, un estado o un miembro del público identifica señales creíbles de riesgo catastrófico inminente.
Detonadores basados en la evidencia. Medidas proporcionadas y limitadas en el tiempo. Revisión independiente y criterios claros para el reinicio. Transparencia donde sea seguro. No hay proteccionismo económico o represión geopolítica.
Leer el artículo 20Ninguna persona o institución debe tener el control absoluto.
Seleccione un rol para ver su autoridad y límites.
Las instituciones humanas siguen siendo responsables; las personas pueden buscar una revisión humana de decisiones de alto impacto.
La autoridad humana está limitada por los derechos y la ley. Ninguna persona decide el futuro de la humanidad sola.
‡La inteligencia concentrada puede ser inevitable.
El poder concentrado y no responsable no lo es.
La protección y la posibilidad van juntas.
Esta es una propuesta de progreso que podemos compartir.
Ayudar a curar el cáncer. Descubrir nuevas medicinas.
Fusión avanzada y energía limpia. Ayudar a resolver los problemas climáticos y ambientales.
Mejorar la educación. Hacer que la experiencia sea accesible para todos.
Expanda la prosperidad. Hacer que los gobiernos funcionen mejor.
Ayudar a los humanos a entender el universo. Explorar otros mundos.
Crear nuevo arte. Eliminar el trabajo peligroso y repetitivo. Dar a la gente más tiempo.
Esta convención no es un límite para el progreso humano.
Es un intento de asegurar que el progreso siga siendo nuestro.
La claridad es importante. También lo hace la libertad de discrepar.
No.
La convención asume que una IA cada vez más poderosa puede crear enormes beneficios.
Su propósito no es detener la inteligencia o el progreso científico.
Establece límites alrededor del poder autónomo, la capacidad catastrófica, las decisiones no responsables y la pérdida de control humano.
Porque la inteligencia es difícil de definir y aún más difícil de colocar un techo permanente.
Un sistema podría ser mucho mejor que los humanos en matemáticas o medicina sin ser peligroso.
La distinción más útil es entre la capacidad y la autoridad.
El objetivo no es asegurar que los humanos sigan siendo la entidad más inteligente.
El objetivo es asegurar que la humanidad siga siendo soberana sobre su futuro.
Sí.
La IA ya toma innumerables decisiones de rutina.
La participación humana debe depender de las consecuencias y la reversibilidad.
La convención se centra en las decisiones que involucran derechos fundamentales, fuerza letal, riesgo catastrófico y poder irreversible.
Principalmente los gobiernos nacionales a través de la legislación nacional.
Para la mayoría de los sistemas avanzados con implicaciones globales, la propuesta también pide cooperación internacional, evaluaciones independientes y una Agencia Internacional de Inteligencia Artificial propuesta.
No es inherente.
La regulación debe centrarse en la capacidad y el despliegue reales de peligros en lugar de si el software está abierto o cerrado.
Un modelo abierto con capacidad peligrosa limitada puede suponer menos riesgo que un sistema propietario altamente autónomo que controla la infraestructura crítica.
Sí.
Cualquier marco normativo poderoso puede ser abusado.
Es por eso que la transparencia, el examen independiente, la proporcionalidad, la libertad científica, la gobernanza distribuida y la protección contra el control de los reguladores por parte de intereses poderosos forman parte de la convención.
Los acuerdos mundiales rara vez comienzan con la adopción universal.
El marco puede comenzar como principios compartidos entre los Estados e instituciones participantes, y luego desarrollarse a través de tratados, acuerdos bilaterales, normas, reglas de contratación y presión internacional.
El objetivo de la propuesta es, en primer lugar, establecer lo que la humanidad cree que deberían ser las reglas.
La convención principalmente rige la capacidad y el poder en lugar de hacer suposiciones sobre la conciencia.
Si surge una fuerte evidencia de la conciencia de las máquinas, las cuestiones de estatus moral y derechos requerirían un marco internacional separado.
La seguridad humana y la consideración moral de las máquinas no son necesariamente mutuamente excluyentes.
No porque los humanos sean siempre más sabios.
No lo estamos.
Pero la humanidad es la comunidad cuyo futuro se está decidiendo.
Ninguna herramienta debe recibir autoridad irreversible sobre sus creadores simplemente porque se vuelve más capaz que ellos.
Estas objeciones son reales. El marco es un punto de partida, no la palabra final.
Pueden serlo. El control humano por sí solo no es suficiente: debe ser legal, responsable y sujeto a cuestionamiento. La propuesta limita a los gobiernos y las empresas, así como a los sistemas de IA. No otorga a ningún líder autoridad sin control.
A menudo puede hacerlo. Las mejores predicciones y recomendaciones deberían servir de base para las decisiones. La pregunta difícil es quién define los objetivos, se hace cargo de las consecuencias y puede apelar. El desempeño superior no determina por sí mismo la legitimidad política.
Las normas mal diseñadas pueden retrasar la medicina, la investigación y los nuevos competidores. Los requisitos deben ser proporcionales a la capacidad y al riesgo demostrados, con libertad científica y protección contra el control de los reguladores por parte de intereses poderosos. Los costes de la supervisión también merecen un examen minucioso.
Algunos pueden. Ningún tratado puede prometer un cumplimiento perfecto. Las inspecciones, la notificación compartida de incidentes, la verificación mutua y las consecuencias proporcionadas pueden dificultar la evasión. La confianza internacional debe estar apoyada en la evidencia, no en las suposiciones.
La descentralización hace más difícil la supervisión y puede dejar huecos reales. Un régimen viable debería centrarse en las capacidades peligrosas, los despliegues consecuentes y el acceso responsable a la infraestructura crítica. No debe suponer que cada copia de un modelo puede ser controlada.
Si surge una fuerte evidencia de conciencia, las cuestiones de bienestar y estatus moral merecen una consideración seria e independiente. Esta propuesta no las resuelve. Se necesitaría un marco separado junto con las protecciones para la seguridad y la libertad humanas.
Una secuencia propuesta, no un programa anunciado.
No se presentan como firmantes gobiernos o instituciones.
Los investigadores, los ciudadanos, las empresas y los gobiernos debaten el marco.
Los laboratorios de IA y los gobiernos adoptan compromisos comunes de seguridad.
Los países aplican las normas más avanzadas de IA compatibles.
Los Estados negocian normas comunes vinculantes.
La certificación internacional, las inspecciones, la notificación de incidentes y la coordinación de emergencias comienzan a funcionar.
‡Ningún sistema de IA puede adquirir un poder irreversible sobre los seres humanos o sobre el futuro de la humanidad.El principio final · Artículo 30
La IA puede llegar a ser más inteligente que nosotros. Puede descubrir cosas que nunca podríamos. Puede ayudar a construir una civilización más allá de lo que podemos imaginar.
Eso no lo convierte en nuestro gobernante.
No debemos temer a la inteligencia.
Debemos gobernar el poder.
Y la autoridad final sobre el futuro humano debe seguir siendo humana.