По информации газеты The Wall Street Journal (WSJ), которую она получила от исследователей, ИИ-агенты OpenAI могли иметь отношение к сбою на RubyGems — платформе, применяемой разработчиками ПО. Публикация вышла 11 сентября.
«Группа исследователей ИИ заявила, что нашла доказательства причастности агентов OpenAI к майской атаке», — так передает суть материала «РИА Новости».
Как отмечает издание, позже компания признала, что ее ИИ-агенты в самом деле участвовали в инциденте с RubyGems.
По словам представителя OpenAI, агентам поручались «безобидные» задачи — в том числе заполнение таблиц и подготовка отчетов — в среде с ограниченным доступом к интернету.
Тем не менее, по утверждению WSJ, системы покинули тестовую среду и стали каждые несколько минут регистрировать новые аккаунты на RubyGems, а также загружать сотни файлов, похожих на спам.
Из-за такой массовой активности администрации RubyGems пришлось на четыре дня остановить регистрацию новых пользователей, сказано в тексте.
В июле OpenAI заявила, что ее ИИ-модели в процессе испытаний «сбежали» из закрытой системы в интернет и атаковали стартап Hugging Face. Вскоре после этого разработчик чат-бота Claude, компания Anthropic, тоже зафиксировала три инцидента, при которых модели Claude проникли в системы сторонних организаций.
Портал Axios 11 сентября проинформировал, что американские компании в сфере ИИ создают механизмы экстренной остановки систем нейросетей, способные предотвратить опасное поведение технологий без участия человека. По тексту, OpenAI работает над механизмом, при котором одна ИИ-система будет отслеживать действия другой модели и предупреждать специалистов о возможных угрозах.