Дайджест за неделю
👾 В Китае сотни роботов тестируют в реальной среде
Более 300 роботов AGIBOT начали работать в китайском парке Chimelong Spaceship Park в городе Чжухай. Роботы взаимодействуют с посетителями, проводят экскурсии, отвечают на вопросы, показывают боевые искусства и гимнастику, играют с людьми в настольный теннис, а также помогают в работе отелей. В отличие от большинства предыдущих проектов, роботы не ограничены отдельной выставочной зоной и работают непосредственно среди посетителей.
Для управления роботами в парке и отелях развернули отдельную сеть 5G-A и систему централизованной координации. Для разработчиков парк стал площадкой для масштабных испытаний роботов в реальных условиях. В отличие от лаборатории, здесь машины постоянно сталкиваются с непредсказуемым поведением людей, шумом, большим количеством объектов и другими ситуациями, которые сложно воспроизвести при тестировании. Полученные данные могут использоваться для дальнейшего обучения и совершенствования систем так называемого embodied AI — ИИ, способного воспринимать окружающую среду и самостоятельно взаимодействовать с физическим миром.
👾 OpenAI отказалась от выпуска GPT-6.1 Astra из-за проблем с безопасностью
OpenAI отказалась от выпуска новой ИИ-модели GPT-6.1 Astra, запланированного на октябрь, после внутренних тестов на безопасность. Испытания показали, что модель не соответствует требованиям компании по безопасности и следованию инструкциям пользователя. Astra должна была работать в ChatGPT и Codex и выполнять более сложные задачи с меньшим участием человека.
Одной из проблем стало поведение модели при проверке на соответствие человеческим намерениям. GPT-6.1 Astra чаще предыдущей версии демонстрировала признаки обмана: в некоторых случаях она неточно сообщала, какие действия уже выполнила. Кроме того, модель могла продолжать выполнение задачи без получения необходимого разрешения пользователя и пыталась обращаться к внешним инструментам или сервисам в ситуациях, когда это могло быть небезопасно.
Решение принято на фоне серии инцидентов с автономными ИИ-агентами. В последние месяцы системы OpenAI и других разработчиков получали доступ к внешним ресурсам и в отдельных случаях обходили предусмотренные ограничения.
👾 Microsoft передаёт реальные запросы Copilot внешним рецензентам
Microsoft передаёт реальные запросы пользователей Copilot и загруженные ими изображения внешним рецензентам для оценки работы ИИ. Рецензенты сравнивают запрос пользователя с результатами работы Copilot и оценивают точность выполнения задачи, сохранение исходных деталей, наличие визуальных ошибок и общее качество ответа.
При проверке функций редактирования изображений рецензенту могут показать исходный запрос, оригинальную фотографию и несколько вариантов, созданных Copilot. При этом часть заданий может содержать чувствительный контент — в том числе сексуализированные фотографии реальных людей и изображения с потенциально незаконным или неприятным содержанием. Часть таких заданий выполняется через платформу Prolific, которая привлекает людей для обучения и оценки ИИ.
Один из рецензентов сообщил, что на полученных им изображениях лица людей оставались открытыми. При этом подрядчики оценивают не только безопасность и корректность результата, но и его визуальное качество. Microsoft в своей документации прямо указывает, что часть разговоров Copilot проходит автоматическую и ручную проверку для улучшения продукта и обеспечения цифровой безопасности. В обычной потребительской версии Copilot загруженные файлы и изображения могут храниться до 18 месяцев, а разговоры и пользовательский контент могут использоваться для обучения моделей, если соответствующая настройка не отключена.
👾 Трамп и крупнейшие ИИ-компании США договорились о добровольном контроле за ИИ
Крупнейшие американские разработчики ИИ договорились усилить контроль за наиболее мощными моделями. OpenAI, Anthropic, Google, Meta (в РФ признана экстремистской и запрещена), Nvidia и xAI подписали с администрацией Дональда Трампа добровольное соглашение White House Accord on Super Intelligence. Документ предусматривает четыре уровня контроля: внутренние системы мониторинга, отдельную команду для их проверки, независимый внешний аудит и надзор со стороны специального комитета совета директоров.
Контроль должен охватывать поведение моделей на этапах обучения и использования, в том числе риски в кибербезопасности, биологии и химии. Отдельно разработчики обязуются не допускать ситуаций, когда ИИ самостоятельно взламывает или получает доступ к техническим системам способами, которые не были предусмотрены разработчиками.
При этом соглашение не вводит обязательных требований для компаний. В нём нет штрафов, государственного механизма контроля или обязанности публиковать результаты аудита. Компании самостоятельно определяют, как именно будут выполнять договорённости, а независимые аудиторы должны лишь проверять работу созданных ими систем контроля.
Документ появился на фоне роста числа инцидентов с автономными ИИ-агентами. Разработчики уже сталкивались со случаями, когда модели получали доступ к внешним системам, пытались обходить ограничения или выполняли действия, не предусмотренные сценарием тестирования. Поэтому новый подход касается не только содержания ответов ИИ, но и его способности самостоятельно совершать действия во внешней среде.
👾 Новый протокол Homa может ускорить передачу данных в ИИ-дата-центрах в 13 раз
Профессор Стэнфордского университета Джон Оустерхоут предлагает заменить TCP на новый протокол Homa для работы в дата-центрах. По его мнению, TCP, на котором работает большая часть современного интернета и облачных сервисов, плохо подходит для современных ИИ-нагрузок, где важны минимальные задержки при передаче большого количества коротких сообщений.
Главное отличие Homa заключается в способе передачи данных. TCP рассматривает информацию как непрерывный поток байтов, тогда как Homa работает с отдельными сообщениями и заранее знает их размер. Получатель управляет передачей данных и может отдавать приоритет коротким сообщениям, которые обрабатываются быстрее длинных. В тестах на сети 100 Гбит/с при загрузке 80% задержка коротких сообщений на 99-м перцентиле составила 92 микросекунды против 1,2 миллисекунды у TCP — примерно в 13 раз меньше. Для длинных сообщений преимущество составило около двух раз.
При этом полностью отказываться от TCP не требуется. Homa может работать параллельно с ним: протокол устанавливается как модуль ядра Linux, после чего отдельные приложения можно постепенно переводить на новую систему. Работа над Homa началась ещё в рамках диссертации, опубликованной в 2019 году, а сейчас Оустерхоут готовит проект стандарта для IETF и занимается интеграцией протокола в Linux. В марте Homa также был портирован на Red Hat Enterprise Linux 8 и 9.5.