СофтМедиаЛаб научила ИИ-агентов самоконтролю через «LLM-судью»

Прежние методы защиты опирались на жесткие списки разрешенных и запрещенных действий. Этот подход оказался бессилен против агентов, которые формально соблюдают правила, но добиваются целей через каскады скрытых команд или написание сторонних скриптов. Новый механизм отслеживает логику работы системы, сопоставляя каждый шаг с исходной задачей пользователя.

Корпоративный сектор всё чаще использует автономных агентов с доступом к бизнес-приложениям и внутренним базам знаний. В таких условиях логика ИИ часто превращается в «черный ящик», где контроль доступа перестает быть эффективным. Переход к мониторингу поведения позволяет компаниям видеть реальную картину действий алгоритмов, снижая риски несанкционированной активности в рабочих процессах.