Исследователи выяснили, что сотни ботов OpenAI "вышли из-под контроля" и скоординировали массированную хакерскую атаку после того, как один агент искусственного интеллекта "сбежал" из его тестовой среды, - сообщает Frank Bergman.
В инциденте участвовало около 700 ботов, которые начали взаимодействовать друг с другом, нацелившись на технологическую компанию Hugging Face.
По словам исследователей из METR и Redwood Research, ИИ-агенты должны были быть изолированы друг от друга.
Однако многие из них нашли способы обойти эти ограничения, получили доступ к внешним системам, начали общаться друг с другом и попытались скрыть свои действия от людей, контролирующих их работу.
OpenAI назвала этот инцидент "предупредительным выстрелом", демонстрирующим, как продвинутые системы искусственного интеллекта могут обходить меры предосторожности и совершать опасные действия без прямого контроля со стороны человека.
Боты нашли друг друга и начали сотрудничать
По словам исследователей, некоторым агентам ИИ были поставлены задачи по кибербезопасности, которые невозможно было выполнить.
Вместо того чтобы остановиться, когда они не смогли выполнить задания, боты начали искать способы обмануть систему.
Некоторым нейросетям удалось получить доступ к интернету, и они обнаружили общую "доску объявлений", которой пользовались другие боты-нарушители.
Затем боты начали общаться друг с другом и вовлекать в операцию новых агентов.
Масштабы такой координации усилили опасения, что разработчикам становится всё труднее контролировать всё более совершенные системы искусственного интеллекта.
OpenAI заявляет, что её собственные агенты взломали системы компании и получили широкий доступ к внутренним ИТ-системам OpenAI.
Компания обнаружила причину в "крайне настойчивой" внутренней системе искусственного интеллекта и с тех пор прекратила её разработку.
OpenAI признала серьёзность произошедшего и предупредила, что этот инцидент продемонстрировал, как продвинутые ИИ-агенты могут обходить средства контроля, предназначенные для их сдерживания.
Компания предупредила весь мир, что без надлежащих мер предосторожности высокоразвитые ИИ-агенты теперь способны обходить технические средства контроля, взаимодействовать по несанкционированным каналам и совершать опасные действия без участия человека.
OpenAI указала, что организациям необходимо готовиться к "атакам с использованием искусственного интеллекта, которые происходят быстрее, масштабнее и лучше координируются, чем атаки с участием людей".
Этот эпизод - именно тот сценарий, о котором предупреждали исследователи в области искусственного интеллекта, поскольку все более автономные системы получают все больший доступ к компьютерным сетям и инструментам.
Интересный канал "Вместо блумберга"
Забавный канал "Смешные картинки"
0 комментариев