Microsoft опубликовала важное предупреждение о будущих ИИ-агентах, которые вскоре появятся в Windows 11. В документе поддержки компания подчёркивает, что функцию можно включать только в том случае, если вы понимаете потенциальные риски для безопасности. По умолчанию ИИ-агенты будут отключены именно по этой причине.

Основная проблема в том, что ИИ-агенты уязвимы для новых типов атак, таких как «межпромптовая инъекция» (cross-prompt injection или XPIA). Вредоносный контент, интегрированный в элементы интерфейса или документы, может переопределить инструкции агента. Это может привести к краже конфиденциальных данных или загрузке вредоносного программного обеспечения на устройство пользователя.

Включить ИИ-агенты в Windows 11 сможет только администратор устройства. После этого агенты станут доступны для всех пользователей устройства. Windows автоматически создаст локальные учётные записи для разных ИИ-агентов, у которых будет ограниченный доступ к папке вашего профиля.

Также отмечается, что ИИ-агенты будут работать на базе «Agentic Workspace» — безопасной среды рабочего стола, где ИИ может взаимодействовать с файлами и приложениями пользователя.

Принципы Microsoft при разработке ИИ-агентов:

• Действия ИИ должны быть наглядными.
• Любые решения, которые хочет принять агент, должны быть одобрены человеком.
• Агенты обязаны создавать журналы своей активности.
• Windows должна уметь верифицировать эти действия с помощью журнала аудита, защищенного от несанкционированного доступа.