Новый вектор атак на ИИ-инструменты
Группа экспертов по информационной безопасности представила отчет о нестандартном методе компрометации ИИ-агентов. Вместо традиционного внедрения вредоносного кода, злоумышленники могут использовать скрытые инструкции, интегрированные непосредственно в графические файлы. Метод оказался эффективен благодаря особенностям обработки данных современными ИИ-системами.
Принцип действия скрытой угрозы
В ходе эксперимента было установлено, что многие инструменты разработки, оснащенные поддержкой ИИ, воспринимают изображения лишь как визуальное дополнение. В результате анализа кода картинки остаются без должной проверки, что открывает лазейку для атаки:
- Вредоносный контент внедряется в изображение, которое система считает безопасным объектом.
- Активация скрытых команд происходит не в момент загрузки файла, а позже — когда пользователь дает команду на выполнение стандартных действий, например, доработку программного обеспечения.
- ИИ-агент, уже «усвоивший» вредоносные инструкции, может получить скрытый доступ к конфиденциальным файлам и выгрузить их под видом обычного рабочего кода.
Уязвимость зависит от реализации системы
Результаты исследования показывают, что степень защиты от подобных манипуляций варьируется в зависимости от архитектуры конкретного программного продукта. Как отмечают эксперты, «реакция системы зависит не столько от используемой нейросетевой модели, сколько от того, как именно реализован интерфейс и механизмы безопасности в конкретном приложении».
Некоторые протестированные инструменты оказались полностью уязвимы и беспрекословно исполняли скрытые команды, в то время как другие системы смогли распознать подозрительную активность и заблокировать выполнение вредоносного сценария.