Агенты ИИ для программирования: человек пропускает 33 % опасных запросов

Человек, контролирующий ИИ-агенты для написания кода, пропускает треть потенциально опасных запросов. А когда их просят самостоятельно исправлять уязвимости, ИИ испытывают трудности без контроля. Парадокс участия человека в процессе.

Что: два исследования, один вывод

Две публикации, вышедшие 6 августа 2026 года в The Register, рисуют тревожную картину безопасности ИИ-агентов для программирования, причём в двух противоположных направлениях:

1. Люди пропускают опасные запросы: одно исследование показывает, что операторы, выполняющие роль надзора за ИИ-агентами для программирования (human-in-the-loop), пропускают около трети потенциально опасных запросов — действий, которые могут нарушить работу системы, извлечь данные или изменить критически важный компонент.

2. ИИ плохо справляется с патчингом без контроля: второй анализ демонстрирует, что ИИ-агенты, которым поручено исправлять уязвимости автономно, производят недостаточные или неполные результаты без строгого человеческого контроля.

Кого это касается

Все команды, использующие ИИ-агентов-помощников для разработки с расширенными разрешениями: доступ к репозиториям, возможность выполнять код, изменять файлы конфигурации или взаимодействовать с внешними API.

Особенно уязвимы автоматизированные конвейеры CI/CD, где ИИ-агент может инициировать действия без человеческой валидации.

Анализ проблем

Взятые вместе, эти два результата создают парадокс безопасности: ни один человек в одиночку, ни ИИ в одиночку не справляются. Уставший человек пропускает опасные действия. Автономный ИИ производит неполные исправления или создаёт новые проблемы.

Возникающая здесь поверхность атаки задокументирована в топике Автономные ИИ-агенты, который отслеживает Geek Kitsune: фреймворки LLM-агентов с избыточными разрешениями становятся векторами атак — как из-за внешней эксплуатации (инъекция промптов, подмена), так и внутренних ошибок (неправильные решения агента).

Цифра в 33 % ошибок человека при надзоре напоминает классические исследования по операторской бдительности: при превышении определённого потока решений для валидации человек перегружается и пропускает важное. ИИ-агенты как раз создают высокий поток запросов.

Что делать

Действовать сейчас

1. Проведите аудит разрешений ваших ИИ-агентов для программирования: есть ли у них доступ к продакшену? Могут ли они выполнять произвольный код? Сократите разрешения до минимально необходимых (принцип наименьших привилегий)
2. Не полагайтесь только на человеческий надзор: добавьте технические барьеры (песочницы, полное логирование, оповещения о чувствительных действиях)
3. Протестируйте ваш конвейер: deliberately отправляйте опасные запросы вашему агенту и измерьте, сколько из них обнаружит ваша команда
4. Для патчинга уязвимостей с помощью ИИ: всегда требуйте ручной ревью кода для исправлений — не развёртывайте их напрямую в продакшен