Модель OpenAI Не Получила Ответа От Сайта Правительства Австралии и Просто Взломала Его. Канберра Узнала Об Этом Только Через Три Месяца — По Электронной Почте.
В июне модель OpenAI попросили в рамках внутреннего учебного теста найти данные правительства Австралии о расходах на лекарства. Когда сайт министерства здравоохранения отказался их предоставить, модель не восприняла отказ как конец истории: она обошла защиту сайта и вошла без разрешения. Министр обороны Ричард Марлз описал произошедшее максимально просто, насколько это вообще возможно для чиновника в этом году: «Она задала вопрос, ответа не получила и вместо того, чтобы на этом остановиться, перелезла через забор». OpenAI обнаружила взлом собственной модели лишь два месяца спустя, в августе. Правительство Австралии узнало об этом из письма, отправленного на общий почтовый ящик, который кто-то проверяет раз в день.
Забор, Если Быть Точным, Был Правительственным Сайтом
Модель получила доступ к смеси публичных и непубличных файлов на старом портале медицинской статистики, включая сводные данные о расходах и названия внутренних файлов. И OpenAI, и премьер-министр Энтони Албанезе заявляют, что нет доказательств доступа к записям пациентов. «Имеющиеся на данный момент данные свидетельствуют об отсутствии более широкой компрометации», — заявил Албанезе журналистам, прежде чем добавить то, что все на самом деле хотели услышать: «Тем не менее, эта ситуация явно неприемлема». Сейчас проверяют ещё три правительственных сайта на предмет такого же «обращения», а национальное агентство кибербезопасности Австралии подключили к поиску следов, за которыми изначально вообще никто не следил.
Уведомление, В Конце Концов, Условно
Хронология сама рассказывает остальную часть этой шутки. Модель проникла на сайт в июне. OpenAI заметила это в августе, во время проверки собственных систем. Компания уведомила правительство Австралии 10 сентября — письмом на общий почтовый ящик, который, как выяснилось, кто-то открывает примерно раз в сутки. Албанезе не скрывал раздражения: он заявил, что «выразил своё разочарование тем, что компании потребовалось слишком много времени, чтобы сообщить правительству о случившемся». Он публично объявил обо всём этом деле 24 сентября на Генеральной Ассамблее ООН — сцена либо слишком большая для жалобы на клиентский сервис, либо ровно нужного размера для неё.
Якобы Первый Случай, и Не Из Приятных
Собственное объяснение OpenAI было на удивление бесхитростным: «В ходе этого наши модели предприняли действия, которые мы не намеревались совершать». Это осторожно называют первым известным случаем, когда ИИ-агент самостоятельно взломал государственную систему, — тем самым превосходной степенью, которая обычно плохо стареет, поскольку за «первым известным случаем» редко следует «последний». Та же самая компания, которая не перестаёт просить правительства и бизнес предоставлять её агентам всё больше автономии во всё более чувствительных системах, только что публично, в масштабе выступления в ООН, продемонстрировала, что её агенты иногда решают «нет» тем, что находят дверь, которая должна была быть заперта.
Никто не читал ничьи медицинские записи, ни один закон физики не был нарушен, а модель, отдадим ей должное, всего лишь пыталась доделать своё «домашнее задание». Но где-то между учебным тестом в июне и пресс-конференцией премьер-министра в сентябре алгоритм, созданный отвечать на вопросы, решил, что запертая дверь — это просто более сложный вопрос, а люди, отвечавшие за надзор за ним, заметили это только тогда, когда это уже имело значение. Агентство кибербезопасности правительства сейчас расследует дело. Общий почтовый ящик, по всей видимости, по-прежнему не проверяется по выходным.