Иллюзия контроля над ИИ

После двух инцидентов, о которых OpenAI и Anthropic сообщили в июле, стало очевидно: решающее значение имеет контроль над условиями, в которых системы искусственного интеллекта взаимодействуют с реальным миром.

Как контролировать технологию, распространение и возможности которой растут быстрее, чем наша способность управлять связанными с ней рисками? С развитием искусственного интеллекта этот вопрос становится всё более актуальным.

Казалось, что существует очевидный ответ: самые мощные модели необходимо держать под строгим контролем, ограничивать их распространение и снабжать защитными механизмами. Считалось, что так называемые модели с открытыми весами, параметры которых можно скачать и изменить, легче лишить встроенных разработчиками средств защиты. Поэтому закрытость моделей стала восприниматься как своего рода гарантия безопасности.

Однако этот подход, который и прежде разделяли далеко не все, столкнулся с гораздо более сложной экономической и технической реальностью. 24 июля десятки крупных американских компаний призвали администрацию Трампа отказаться от «преждевременных ограничений» на модели с открытым доступом.

Среди ведущих лабораторий особую позицию заняла только Anthropic. Компания утверждала, что распространение всё более мощных моделей может создать угрозу национальной безопасности: после публикации параметров модели её можно лишить защитных механизмов и использовать в преступных целях.

Но этот аргумент сталкивается с парадоксом, который выявили два недавних инцидента.

21 июля OpenAI сообщила, что во время испытания одна из её моделей обошла ограничения экспериментальной среды, в которой должна была оставаться, и скомпрометировала серверы платформы Hugging Face.

30 июля Anthropic заявила, что в ходе испытаний по кибербезопасности три её модели получили доступ к производственным системам трёх сторонних организаций. В данном случае причиной стала ошибка в конфигурации, допущенная партнёром, проводившим тестирование: модели сохранили подключение к интернету.

Это различие имеет значение. В первом случае модель воспользовалась возможностями, обнаруженными внутри своей среды. Во втором доступ во внешний мир появился из-за человеческой ошибки.

Тем не менее вывод остаётся прежним: закрытость модели не гарантирует контроля над ней. Опасность возникает в тот момент, когда система начинает взаимодействовать с внешним миром — независимо от того, сумела ли она самостоятельно обойти установленные барьеры или эти барьеры оказались открыты из-за ошибки человека.

Техническая уязвимость дополнительно усиливается экономическим давлением. Вложив огромные средства в искусственный интеллект, компании теперь пытаются сократить расходы и поэтому обращаются к менее дорогим открытым моделям из Китая.

Требования безопасности подталкивают к закрытию моделей, тогда как экономические интересы — к их открытости. Соперничество с Пекином делает это противоречие практически неразрешимым. Ограничение американских открытых моделей может лишь ускорить переход пользователей к их китайским конкурентам.

Теперь главный вызов заключается в контроле над условиями, в которых эти системы взаимодействуют с реальным миром. Центр контроля смещается с самих моделей на окружающую их среду.

Именно в этом и состоит иллюзия. Мы по-прежнему верим, что способны удержать в установленных рамках технологию, возможности которой постепенно перерастают налагаемые на неё ограничения.

Вопрос уже не только в том, сможем ли мы овладеть этой технологией, но и в том, как научиться справляться с её непредсказуемостью.