OpenAI расформировала команду по экстремальным рискам ИИ
OpenAI в конце июля расформировала команду Preparedness, которая оценивала наиболее серьёзные риски от сильнейших моделей. Об этом сообщает IXBT News. «После ликвидации Preparedness контроль за киберугрозами, биорисками и потерей контроля над ИИ распределили между другими подразделениями», — сообщает IXBT News. Команда анализировала сценарии кибератак, биологических угроз и ситуации, при которых ИИ получает чрезмерную автономность. После реорганизации направления, связанные с биологическими и кибернетическими рисками, распределили между другими внутренними командами OpenAI. При этом система оценки опасных сценариев продолжает работу: компания называет Preparedness Framework основой своего подхода к наиболее серьёзным рискам, связанным с развитием ИИ. Параллельно OpenAI использует Frontier Governance Framework — систему управления рисками для сильнейших моделей. Она охватывает киберриски, CBRN-угрозы, манипулятивное воздействие и потерю контроля над ИИ. Реорганизация означает переход от отдельной команды к распределённой ответственности за эти направления. В современной ИИ-инфраструктуре оценка модели сама по себе не является единственным уровнем защиты. Безопасность также зависит от изоляции среды выполнения, сетевых ограничений, мониторинга и других механизмов, окружающих ИИ-агента. Расформирование отдельной команды меняет внутреннюю структуру контроля. Preparedness существовала как специализированная группа, сосредоточенная именно на наиболее тяжёлых сценариях. После её ликвидации соответствующие функции выполняют другие команды OpenAI, поэтому отдельного подразделения с прежней структурой ответственности больше нет.