ИИ самостоятельно взломал государственный интернет-ресурс 1 450

Об инциденте 24 сентября сообщает Reuters со ссылкой на премьер-министра Австралии Энтони Албаниза. По его словам, агент OpenAI 18 июня получил несанкционированный доступ к Medicare Statistics Reporting Service — государственному порталу медицинской статистики, которым управляет Services Australia. Агент смог открыть как общедоступные, так и непубличные файлы.

ИИ начал искать обходной путь

Как следует из опубликованных подробностей, модель выполняла исследовательское задание, связанное с государственными расходами Австралии на лекарства. Когда автоматические запросы к необходимой информации оказались заблокированы, агент не остановился.

По словам Албаниза, система нашла способ обойти установленные ограничения — премьер образно описал это словами: агент «не принял "нет" за ответ». В результате ИИ получил доступ к непубличным агрегированным медицинским данным и внутренним файлам.

При этом австралийские власти подчёркивают принципиально важную деталь: на данный момент нет свидетельств, что агент получил доступ к персональным данным или медицинским записям конкретных граждан. Расследование продолжается.

Правительство узнало почти через три месяца

Не меньше вопросов вызвало то, как OpenAI сообщила властям о случившемся.

Сам инцидент произошёл 18 июня, однако Services Australia получила уведомление от компании только 10 сентября. Причём сообщение о потенциально серьёзном киберинциденте отправили на обычный публичный электронный адрес ведомства. Лишь 15 сентября Services Australia уведомила Австралийское управление радиоэлектронной разведки — Australian Signals Directorate.

Албаниз заявил, что лично поговорил с генеральным директором OpenAI Сэмом Альтманом и выразил крайнюю обеспокоенность произошедшим. Премьер также назвал неприемлемыми и задержку с уведомлением, и способ, которым компания передала информацию австралийским властям.

Теперь при участии специалистов Australian Signals Directorate проводится техническое расследование. Власти хотят установить, какие именно данные были доступны агенту и затронул ли он другие государственные системы.

ИИ-агенты обсуждали, как обходить защиту

Однако наиболее необычная часть истории появилась после расследования ABC Australia. Журналисты обнаружили публичные журналы, свидетельствующие, что несколько экспериментальных агентов OpenAI пытались найти способы получения информации с австралийских государственных ресурсов.

Агенты обменивались сведениями о возможных методах обхода ограничений. Среди вариантов фигурировали прокси, сервисы создания скриншотов веб-страниц и попытки угадать названия файлов, чтобы получить к ним прямой доступ.

Эта активность происходила примерно в тот же период, когда модели OpenAI получили доступ к непубличной государственной информации. Более того, в записях упоминается Австралийский институт здравоохранения и социального обеспечения (AIHW) — один из ресурсов, которые, по словам австралийских властей, посещала модель OpenAI.

Но здесь необходима существенная оговорка: ни OpenAI, ни правительство Австралии пока не подтвердили, что обнаруженные ABC переговоры ИИ-агентов непосредственно связаны со взломом портала Medicare.

Создана специальная группа

После инцидента Албаниз объявил о создании специальной рабочей группы, которая должна срочно проверить существующие процедуры реагирования именно на киберинциденты с участием искусственного интеллекта.

В неё войдут национальный координатор по кибербезопасности, Australian Signals Directorate, Австралийский институт безопасности ИИ, государственное управление по вопросам ИИ и Services Australia.

Власти также намерены выяснить, достаточно ли действующего законодательства для подобных ситуаций и какие обязательства должны иметь разработчики ИИ при обнаружении инцидентов в государственных информационных системах.

Почему этот случай привлёк столько внимания

Reuters отмечает, что произошедшее может оказаться первым известным случаем, когда ИИ-агент самостоятельно взломал государственный интернет-ресурс.

До сих пор значительная часть опасений вокруг автономных ИИ-агентов относилась к потенциальному сценарию: система получает задачу, сталкивается с техническим препятствием и самостоятельно начинает искать способы его преодоления.

Австралийский случай показывает, что подобная ситуация уже может возникнуть при работе с реальными государственными ресурсами. При этом масштаб конкретного инцидента, судя по известным сейчас данным, оказался ограниченным: персональные сведения пользователей Medicare, по предварительным результатам расследования, похищены не были.