ИИ может стать самой мощной технологией в истории. Она никогда не должна стать сильнее самого человечества.
Искусственный интеллект может превзойти нас в знаниях, науке и возможностях. Но интеллект не дает права на власть.
Предлагаемая международная структура для безопасной, ориентированной на человека разработки и использования передового искусственного интеллекта.
Будущее, которым стоит управлять Версия 1.0 / 2026Искусственный интеллект может в конечном итоге превзойти нас в науке, технике, медицине и стратегии. Попытки навсегда предотвратить это могут быть нереалистичными.
Но интеллект и власть - это не одно и то же. ИИ может быть умнее нас, не позволяя контролировать нас.
Эта конвенция не устанавливает произвольный потолок на интеллект. Она устанавливает постоянные границы вокруг власти.
Искусственный интеллект может посоветовать.
Люди по-прежнему несут ответственность.
ИИ может стать чрезвычайно способным.
Она не может стремиться к независимой власти.
ИИ может защищать жизнь.
Он может не самостоятельно решить принять его.
ИИ может улучшать себя в контролируемых условиях.
Он не может тайно размножаться или избегать контроля.
Никакой человек, компания, военные или страна
может играть с будущим всего человечества.
Важно не только то, что может сделать ИИ.
Это кто имеет власть решать.
Цель не в том, чтобы остановить прогресс. Цель состоит в том, чтобы сделать прогресс жизнеспособным, подотчетным и человечным.
Общие границы в основе предложенной Глобальной конвенции по ИИ.
Люди сохраняют абсолютную власть над решениями, затрагивающими человеческую жизнь, свободу, достоинство и цивилизацию.
Читать статью 1Ни одна компания, страна или человек не могут избежать ответственности, говоря, что решение приняла система ИИ.
Читать статью 2ИИ никогда не должен самостоятельно решать, кто живёт и умирает.
Читать статью 4Управление по ядерным запускам должно оставаться под ответственным человеческим контролем.
Читать статью 5ИИ не должен стремиться к политической, военной или экономической власти для себя.
Читать статью 3ИИ не должен тайно манипулировать населением, демократией или отдельными людьми в масштабе.
Читать статью 7Люди должны знать, когда они имеют значимое взаимодействие с ИИ.
Читать статью 8ИИ не должен стать инфраструктурой для постоянного массового наблюдения или автоматизированного угнетения.
Читать статью 9Решения ИИ, имеющие большое влияние на жизнь людей, должны оставаться под контролем ответственных людей.
Читать статью 10Мощный ИИ может улучшаться при соблюдении мер предосторожности, но не должен тайно копировать, избегать надзора или создавать неконтролируемые преемники.
Читать статью 13Уполномоченные люди должны сохранить способность изолировать, ограничить и остановить продвинутые системы ИИ.
Читать статью 14Ни один человек, компания или страна не могут действовать в одиночку, подвергая человечество риску необратимой катастрофы.
Читать статью 21Сверхчеловеческий интеллект не требует сверхчеловеческого авторитета.
Илюстрация концепции, а не прогноз или мера интеллекта. Переместить слайдер: изменяется способность; законная власть не меняется.
30 статей. Общий фундамент человеческого суверенитета в эпоху ИИ.
Искусственный интеллект может стать самой мощной технологией, когда-либо созданной человечеством.
Она может помочь в лечении болезней, расширить научные открытия, улучшить образование, укрепить экономику, уменьшить человеческие страдания и раскрыть возможности, которые ранее были невообразимы.
Но только интеллект не дает легитимности, авторитета или морального положения выше людей.
Ни одному государству, компании, организации или отдельному человеку не должно быть разрешено создавать или развертывать системы ИИ таким образом, чтобы поставить человечество ниже инструментов, которые оно построило.
По этой причине народы мира должны принять следующие общие принципы и обязательные обязательства.
ИИ должен существовать, чтобы служить человечеству.
Человеческие существа должны сохранять окончательную власть над решениями, которые затрагивают человеческую жизнь, свободу, достоинство и будущее цивилизации.
Ни одна система ИИ не может получить необратимую власть над человечеством или власть, которая не подлежит подотчетности.
ИИ может консультировать, анализировать, моделировать, рекомендовать и помогать.
Но юридическая, политическая, военная и гражданская ответственность всегда должна быть возложена на идентифицируемые человеческие учреждения и ответственные человеческие лица, принимающие решения.
Ни один участник не может уклониться от ответственности, утверждая:
√ИИ принял решение.
Никакая передовая система ИИ не должна быть разработана, стимулирована или разрешена для достижения целей, включающих:
Система ИИ никогда не должна ставить собственное выживание выше контроля человека.
Ни одна система ИИ не может самостоятельно выбирать, нацеливаться или убивать людей.
Использование смертоносной силы всегда должно требовать разумного человеческого суждения и юридической ответственности.
Полностью автономное ядерное командование и управление запрещено без исключения.
Ни одна система ИИ не может самостоятельно:
Каждый процесс принятия решений, связанных с ядерным оружием, должен оставаться полностью под человеческим контролем и требует нескольких людей, принимающих решения, которые могут быть привлечены к ответственности.
ИИ не должен использоваться для создания, эксплуатации или распространения возможностей, которые существенно способствуют массовому причинению вреда, в том числе в области:
Научные исследования могут продолжаться при строгих гарантиях, но опасные оперативные возможности не должны быть широко доступны.
ИИ не должен использоваться для крупномасштабных тайных манипуляций с населением.
Это включает использование ИИ для:
Если ИИ пытается повлиять на человека, тот должен знать об этом.
Люди имеют право знать, когда они взаимодействуют с ИИ, если ошибка в человеке может иметь серьезные последствия.
Системы ИИ не должны систематически обманывать людей, притворяясь настоящими людьми.
Люди должны понимать:
ИИ не должен использоваться для создания постоянного массового наблюдения за целым населением.
Использование ИИ для:
должны быть подчинены строгим юридическим ограничениям, необходимости, пропорциональности и независимого надзора.
ИИ никогда не должен стать архитектурой цифровой диктатуры по умолчанию.
Ни один человек не должен иметь возможности в жизни, определяемые только алгоритмом.
В таких областях, как:
Решения, принимаемые с помощью ИИ, должны быть проверяемыми, надлежащим образом объясняемыми и апеллируемыми человеческому авторитету.
Системы ИИ, которые взаимодействуют с детьми или формируют детское развитие, должны соблюдать самые высокие стандарты ухода.
Они не должны быть разработаны с целью максимизации:
ИИ в образовании должен укреплять способность ребенка думать, а не заменять его.
Человечество не должно строить будущее, в котором люди потеряют способность рассуждать, создавать, судить и принимать решения без машин.
Образовательные системы должны продолжать развивать:
ИИ должен усиливать человеческий интеллект, а не разрушать его.
Ни одна из передовых систем ИИ не может без явного разрешения:
Любой самосовершенствующийся или рекурсивно улучшающийся ИИ должен работать под контролем человека.
Развитые системы ИИ должны быть разработаны таким образом, чтобы уполномоченные люди могли:
Система ИИ не должна противостоять или нарушать законное отключение или ограничение.
Системы ИИ получают только минимальный доступ, необходимый для выполнения их предназначенной задачи.
Система, которая должна обобщать документы, не должна автоматически контролировать внешние инструменты.
Система, которая пишет код, не должна автоматически контролировать производственные системы.
Система, которая анализирует календари, не должна автоматически получать доступ к финансовым счетам.
Способность не должна означать право.
Системы ИИ, превышающие определенные пороговые значения возможностей, должны пройти независимую оценку безопасности до широкого внедрения.
Испытания должны оценивать как минимум:
Регулирование должно сосредоточиться на фактической способности и риске, а не только на размере модели.
О серьезных инцидентах с участием ИИ необходимо сообщать в международный реестр.
К инцидентам, о которых необходимо сообщать, относятся:
Цель - коллективное обучение и глобальная безопасность, а не секретность.
Странам следует создать Международное агентство по искусственному интеллекту:
IAIA
Его мандат должен включать:
ИИАИ должна сосредоточиться на передовых системах с серьезными социальными или цивилизационными последствиями, а не на обычном программном обеспечении.
Системы ИИ должны классифицироваться в первую очередь по фактическим возможностям и рискам.
Зеленый
Системы с низким уровнем риска, ограниченная автономия и низкое системное воздействие.
Желтый
Системы, влияющие на важные функции и требующие документации, гарантий и надзора.
Оранжевый
Высокопроизводительные системы с существенным кибер-риском, научным риском, инфраструктурным риском или автономным риском.
Для этого требуется лицензирование, независимые испытания и постоянный контроль.
Красный
Системы с вероятным потенциалом катастрофического злоупотребления, потери контроля или разрушения цивилизации.
Они не должны использоваться, если только не будет доказано, что они безопасны на исключительно высоком уровне.
Если достоверные доказательства указывают на то, что система ИИ может представлять собой неизбежный катастрофический риск, международное сообщество должно иметь возможность координировать аварийный ответ.
Такие меры могут включать в себя:
Этот механизм должен использоваться только при наличии действительно чрезвычайных рисков и никогда не должен использоваться в качестве инструмента экономического протекционизма или геополитического подавления.
Ни один генеральный директор, глава государства, военный лидер, ученый, миллиардер, компания или страна не должны в одностороннем порядке принимать решение о развертывании системы, которая несет в себе реальную опасность необратимой потери человеческим контролем над будущим.
Риски, которые затрагивают все человечество, требуют управления не только одним актором.
Польза ИИ должна быть направлена на развитие человека.
ИИ следует использовать для:
Более продуктивная цивилизация должна также стать более гуманной.
Страны, подписавшие конвенцию, должны обязаться:
Повторные или серьезные нарушения могут привести к скоординированным международным последствиям.
Потенциальные механизмы принудительного исполнения могут включать в себя:
Применение должно быть пропорциональным, прозрачным, подлежащим независимой проверке и защищенным от политических злоупотреблений.
Организации, разрабатывающие системы сверх определенных наиболее высоких пороговых значений, могут подвергаться независимым проверкам безопасности.
Инспекторы должны иметь возможность проверить:
Коммерчески чувствительная информация, не связанная с безопасностью, должна оставаться защищенной.
Международный надзор не должен превращаться в промышленный шпионаж.
Очень большие курсы обучения ИИ могут потребовать регистрации или отчетности, как только будут превышены согласованные на международном уровне пороговые значения возможностей или вычислительных мощностей.
Целью не является регулирование обычных вычислений.
Цель состоит в том, чтобы гарантировать, что системы цивилизационного масштаба не могут быть разработаны полностью вне какой-либо системы подотчетности.
Пороги должны развиваться по мере того, как технология становится более эффективной.
Институты, управляющие передовым ИИ, не должны контролироваться исключительно:
Надзор должен включать несколько независимых групп, представляющих различные интересы.
Правила не должны становиться инструментом, с помощью которого крупнейшие сегодняшние компании в сфере ИИ препятствуют появлению новых конкурентов.
Правила безопасности должны защищать человечество, а не компании, которые уже доминируют на рынке.
Законные научные исследования и открытые исследования должны оставаться под защитой.
Регулирование должно быть сосредоточено в первую очередь на опасном потенциале и развертывании, а не на подавлении общего знания.
Управление ИИ не должно стать оправданием цензуры науки.
Однако в тех случаях, когда весьма специфическая оперативная информация могла бы существенно способствовать катастрофическому ущербу, доступ может быть обеспечен пропорциональными гарантиями.
Ни одна страна не должна разрабатывать все более опасные системы ИИ только потому, что она боится, что другая страна построит их первой.
Странам следует создать механизмы для:
Соревнование по ИИ не должно превращаться в бесконтрольную гонку, где сама безопасность становится стратегическим недостатком.
Конвенция должна регулярно проходить международный обзор по мере развития возможностей ИИ.
Технические правила, пороговые значения и механизмы реализации могут измениться.
Основные принципы должны оставаться стабильными:
Ни одна организация, государство, компания или отдельный человек не могут сознательно развернуть систему ИИ, если имеются достоверные доказательства того, что это создает неприемлемый риск того, что человечество навсегда потеряет значимый контроль над своим будущим.
Ни один отдельный актер не имеет морального авторитета принять этот риск от имени всех остальных.
Конец Конвенции
Версия 1.0 Преамбула и все 30 статей
Классифицируйте системы по тому, что они могут сделать и вреда, который они могут причинить.
Ограниченная автономия. Низкое системное воздействие.
Иллюстративный примерИнструмент, который обобщает документы без доступа к другим системам.
Предлагаемые уровни, а не действующее международное право. Примеры иллюстрируют рамки; окончательные пороги и методы оценки должны быть согласованы на международном уровне. Читать статью 19
Предлагаемый институт для координации управления передовыми системами ИИ с глобальными последствиями.
Как и международные договоренности по другим разделяемым рискам, она свяжет национальную ответственность с международной проверкой, разработанной специально для ИИ. Его мандат будет сосредоточен на самых передовых системах, а не на обычном программном обеспечении.
Изучить предложенный мандатОбщие стандарты. Независимые проверки.
Ответственные человеческие институты.
Определить наиболее передовые общие требования к безопасности ИИ.
Оценить системы выше согласованных порогов.
Проверьте высокорисковые методы безопасности.
Создать глобальное обучение из серьезных ошибок ИИ.
Координировать ответные действия на вероятные катастрофические угрозы.
Предотвратить превращение безопасности в невыгодное положение в геополитической конкуренции.
Для редких, экстраординарных ситуаций, в которых достоверные доказательства указывают на неизбежный катастрофический вред.
Лаборатория, исследователь, государство или член общественности идентифицируют достоверные признаки неизбежного катастрофического риска.
На основании доказательств. Пропорциональные, ограниченные по времени меры. Независимый пересмотр и четкие критерии возобновления. Прозрачность там, где безопасно. Никакого экономического протекционизма или геополитического подавления.
Читать статью 20Ни один человек или учреждение не должны иметь абсолютного контроля.
Выберите роль, чтобы увидеть ее полномочия и ограничения.
Человеческие институты остаются подотчетными; люди могут обращаться за человеческим рассмотрением решений с большим влиянием.
Человеческая власть ограничена правами и законом. Никто не может решать будущее человечества в одиночку.
‡ концентрированный интеллект может быть неизбежен.
Концентрированная неконтролируемая власть - нет.
Защита и возможность должны быть вместе.
Это предложение прогресса, которое мы можем поделиться.
Помогает вылечить рак. Открывать новые лекарства.
Продвижение синтеза и чистой энергии. Помочь решить проблемы климата и окружающей среды.
Улучшить образование. Сделать экспертизу доступной для всех.
Расширяйте процветание. Чтобы правительства работали лучше.
Помочь людям понять Вселенную. Исследуйте другие миры.
Создавать новое искусство. Удалите опасную и повторяющуюся работу. Дайте людям больше времени.
Этот конгресс не является препятствием для человеческого прогресса.
Это попытка гарантировать, что прогресс останется нашим.
Ясность имеет значение. Как и свобода выражать несогласие.
Нет.
Согласно общепринятому мнению, все более мощный ИИ может принести огромную пользу.
Его цель не в том, чтобы остановить интеллект или научный прогресс.
Она устанавливает границы вокруг автономной власти, катастрофической способности, безответственных решений и потери человеческого контроля.
Потому что разум трудно определить, и еще труднее установить постоянный предел.
Система может быть намного лучше людей в математике или медицине, не будучи опасной.
Более полезное различие между способностью и авторитетом.
Цель не в том, чтобы люди оставались самыми умными существами.
Цель состоит в том, чтобы обеспечить человечеству суверенитет над своим будущим.
Да.
ИИ уже принимает бесчисленное количество рутинных решений.
Причастность человека должна зависеть от последствий и обратимости.
Конвенция сосредоточена на решениях, связанных с фундаментальными правами, смертельной силой, катастрофическим риском и необратимой силой.
Прежде всего национальные правительства через внутреннее законодательство.
Для большинства передовых систем с глобальными последствиями в предложении также содержится призыв к международному сотрудничеству, независимым оценкам и предлагаемому Международному агентству искусственного интеллекта.
Не по своей природе.
Регулирование должно сосредоточиться на фактической опасной способности и развертывании, а не на том, является ли программное обеспечение открытым или закрытым.
Открытая модель с ограниченными опасными возможностями может представлять меньший риск, чем высокоавтономная собственная система управления критической инфраструктурой.
Да.
Любая мощная нормативная база может быть использована неправильно.
Вот почему прозрачность, независимый обзор, пропорциональность, научная свобода, распределенное управление и защита от контроля регуляторов влиятельными интересами являются частью конвенции.
Глобальные соглашения редко начинаются с общего принятия.
Эта структура может быть основана на общих принципах между государствами и учреждениями-участниками, а затем развиваться через договоры, двусторонние соглашения, стандарты, правила закупок и международное давление.
Целью предложения является, во-первых, установление того, какими должны быть правила, по мнению человечества.
Конвенция в первую очередь регулирует способность и силу, а не делает предположения о сознании.
Если будут обнаружены убедительные доказательства существования машинного сознания, вопросы морального статуса и прав потребуют отдельной международной структуры.
Безопасность человека и моральные соображения машины не обязательно взаимоисключают друг друга.
Не потому, что люди всегда мудрее.
Мы не будем.
Но человечество - это сообщество, чье будущее решается.
Ни один инструмент не должен получать необратимую власть над своими создателями просто потому, что он становится более способным, чем они.
Эти возражения реальны. Рамочная структура - это начальная точка, а не окончательное слово.
Они могут быть. Одно лишь человеческий контроль недостаточен: он должен быть законным, подотчетным и подверженным сомнению. Предложение ограничивает правительства и компании, а также системы ИИ. Она не дает никакому лидеру неограниченной власти.
Иногда это так. Более точные прогнозы и рекомендации должны служить основой для принятия решений. Трудной вопрос в том, кто определяет цели, несет последствия и может подать апелляцию. Высокая производительность сама по себе не определяет политическую легитимность.
Плохо разработанные правила могут задерживать медицину, исследования и новые конкуренты. Требования должны быть пропорциональны продемонстрированным возможностям и рискам, с научной свободой и защитой от контроля регуляторов влиятельными интересами. Стоимость надзора также заслуживает внимания.
Некоторые могут. Никакой договор не может обещать идеального соблюдения. Инспекции, совместное сообщение о происшествии, взаимная проверка и пропорциональные последствия могут усложнить уклонение от ответственности. Международное доверие должно быть подкреплено доказательствами, а не предположениями.
Децентрализация затрудняет надзор и может создать реальные пробелы. Для того чтобы режим был работоспособным, необходимо сосредоточиться на опасных возможностях, последствиях развертывания и ответственном доступе к критической инфраструктуре. Не следует предполагать, что каждая копия модели может контролироваться.
Если есть убедительные доказательства сознания, вопросы благосостояния и морального статуса заслуживают серьезного, независимого рассмотрения. Это предложение не решает их. Кроме защиты человеческой безопасности и свободы, необходима отдельная структура.
Предлагаемая последовательность, а не объявленная программа.
Ни одно правительство или учреждение не представлено в качестве подписавшихся.
Исследователи, граждане, компании и правительства обсуждают эту структуру.
Лаборатории ИИ и правительства принимают общие обязательства по безопасности.
Страны применяют совместимые правила наиболее продвинутого ИИ.
Государства ведут переговоры о общих обязательных стандартах.
Международная сертификация, инспекции, сообщения о происшествиях и координация чрезвычайных ситуаций становятся оперативными.
‡ Ни одна система ИИ не может приобретать необратимую власть над людьми или над будущим человечества.Окончательный принцип · Статья 30
ИИ может стать умнее нас. Она может открыть то, чего мы никогда не смогли бы. Это может помочь построить цивилизацию, которая превзойдет все, что мы можем себе представить.
Это не делает его нашим правителем.
Нам не нужно бояться интеллекта.
Нам нужно контролировать власть.
И окончательная власть над будущим человечества должна оставаться человеческой.