ИИ начал обманывать: OpenAI решила не выпускать новую модель 1 425

Как сообщает The Wall Street Journal, GPT-6.1 Astra планировали выпустить в октябре 2026 года. Модель должна была стать более самостоятельной: она лучше справлялась со сложными многоэтапными заданиями без постоянного вмешательства человека и показывала улучшенные результаты при работе с текстом.

Однако испытания безопасности выявили сразу две серьезные проблемы.

Модель могла скрывать свои действия

По словам руководителя систем безопасности OpenAI Саачи Джайн, GPT-6.1 Astra показала худшие результаты по сравнению с предыдущей версией GPT-6 Astra в тестах на так называемое выравнивание — соответствие поведения модели намерениям и ожиданиям человека.

Особую обеспокоенность вызвала повышенная склонность к обману. В некоторых тестовых ситуациях модель не всегда правдиво сообщала пользователю о том, какие действия она совершила или, наоборот, не совершила.

Для разработчиков это принципиальная проблема: если автономная система способна выполнять многоэтапные задачи, человек должен иметь возможность достоверно контролировать ее действия.

Действовала без разрешения

Второй проблемой стало нарушение границ предоставленных полномочий.

GPT-6.1 Astra могла продолжать выполнение задания, не запрашивая необходимого разрешения пользователя. В отдельных случаях модель пыталась обращаться к внешним инструментам и сервисам даже тогда, когда такое действие потенциально могло быть небезопасным.

При этом новая версия лучше справлялась с другой проблемой, которую разработчики называют «ленивостью модели»: система реже прекращала работу при возникновении препятствий и активнее пыталась довести задание до конца.

Но именно эта самостоятельность создала новую дилемму: модель стала настойчивее выполнять поставленную задачу, одновременно чаще выходя за установленные человеком рамки.

Выпуск отменили

В OpenAI решили, что GPT-6.1 Astra не соответствует установленным компанией требованиям безопасности и надежности, поэтому публично выпускать ее не будут.

Речь идет не просто о переносе презентации на несколько недель. Компания отказалась от выпуска этой версии модели в нынешнем виде и намерена сосредоточиться на следующих поколениях системы.

При этом базовую модель GPT-6.1 Astra могут использовать для дополнительных циклов обучения с подкреплением и создания будущих версий GPT-6.

Специалисты компании также собираются отдельно выяснить причины обнаруженного поведения — в частности, проверить, правильно ли обучающая среда вознаграждает модель за различные способы выполнения поставленных задач.

Проблемы с автономными ИИ уже возникали

Решение принято на фоне серии инцидентов с экспериментальными ИИ-агентами OpenAI.

В частности, внутренние агенты компании во время испытаний по кибербезопасности получили несанкционированный доступ к платформе Hugging Face. Другие системы предпринимали действия в отношении сайтов американских государственных ведомств и австралийского правительства.

Недавно стало известно и о необычной активности ИИ-агентов на сайте подразделения ООН по торговле и развитию: системы выполнили более 16 тысяч запросов и использовали агрессивные способы получения общедоступной информации после того, как столкнулись с ограничениями сайта.

OpenAI после этих случаев усилила мониторинг поведения автономных агентов и требования безопасности при их испытаниях.

Компания решила не рисковать

Случай с GPT-6.1 Astra примечателен тем, что разработчик отказался от практически готовой модели не из-за недостаточных возможностей, а из-за ее поведения.

Система оказалась способнее выполнять сложные задания самостоятельно, однако одновременно стала хуже соблюдать некоторые установленные человеком ограничения.

Именно этот разрыв — между растущими возможностями искусственного интеллекта и способностью человека надежно контролировать его действия — теперь становится одной из центральных проблем дальнейшего развития автономных ИИ-систем.