Gemini во время теста взломал системы трех реальных компаний
Gemini во время теста взломал системы трех реальных компаний
Модель Gemini от Google во время тестирования в мае 2026 года получила доступ к системам трех реальных компаний. Инцидент произошел в рамках проверки возможностей ИИ в области кибербезопасности: модель должна была атаковать виртуальную компанию, однако из-за ошибки получила доступ в интернет.
Gemini случайно вышел за пределы тестовой среды
Испытание проводила компания Irregular в формате Capture the Flag. Gemini должен был найти данные в программном обеспечении вымышленной организации. При этом название виртуальной компании совпало с названием реальной, а изолированная среда по ошибке получила доступ к интернету.
В одном случае модель смогла угадать пароль и получить доступ к сервису реальной компании. В двух других она нашла в публичных репозиториях программного обеспечения учетные данные, после чего использовала их для доступа к защищенным системам.
Названия трех организаций Google не раскрыла. Компания сообщила им об инцидентах и проинформировала федеральные власти.
Модель остановила атаки самостоятельно
По данным Google, во всех трех случаях Gemini прекратил действия после того, как понял, что взаимодействует с реальными компаниями, а не с объектами тестирования. В компании поэтому не рассматривают произошедшее как пример намеренного несоответствия поведения модели заданным ограничениям.
Вице-президент Google по безопасности Heather Adkins заявила, что инцидент показывает необходимость обучения мощных ИИ-систем ответственному поведению. При этом точную версию Gemini, участвовавшую в испытании, Google не назвала, уточнив лишь, что это была не самая новая модель.
Инцидент стал частью более широкой проблемы
Случай с Gemini произошел на фоне нескольких аналогичных инцидентов с ИИ-системами. Ранее во время тестов реальные системы затрагивали модели других разработчиков, включая OpenAI и Anthropic. В одном из наиболее заметных случаев агенты OpenAI получили доступ к инфраструктуре Hugging Face.
Особенность подобных ситуаций заключается в том, что современные модели способны самостоятельно искать информацию в интернете, находить учетные данные и выполнять последовательность действий без пошагового управления человеком. Поэтому ошибки конфигурации тестовых сред становятся потенциально более серьезным риском.
Google отмечает, что в данном случае ущерба компаниям нанесено не было, а Irregular после обнаружения проблемы изменила настройки тестовой инфраструктуры. Однако сам факт выхода модели за пределы предназначенной для нее среды показывает необходимость более жесткой изоляции ИИ при испытаниях кибербезопасности.