Microsoft продолжает работу над следующей версией Windows 11, которая принесёт с собой большое количество новшеств на базе искусственного интеллекта. Но наибольший интерес представляет пока ещё неанонсированная функция под кодовым названием «AI Explorer». С её помощью операционная система сможет учитывать контекст в любых приложениях, а также запоминать всё, что вы делаете на своём компьютере, чтобы улучшить поиск информации и помочь повысить продуктивность работы.

Ожидается, что функция AI Explorer будет представлена на специальном мероприятии, запланированном на 20 мая 2024 года. Известно, что для работы AI Explorer необходим современный процессор с интегрированным нейронным блоком (NPU), который предназначен для ускорения задач машинного обучения и генеративного искусственного интеллекта.

Если верить последним слухам, AI Explorer будет эксклюзивной функцией для устройств с ARM-процессорами линейки Snapdragon X от Qualcomm. Это может быть связано с недостаточной производительностью NPU в процессорах от Intel и AMD. Когда этот вопрос будет решён, AI Explorer может появиться на компьютерах с чипами AMD и Intel. Также для работы функции требуется не менее 16 ГБ оперативной памяти.

ИИ, запоминающий всё, что вы делаете

По информации редактора Windows Central Зака Боудена, AI Explorer будет в фоновом режиме фиксировать всё, что вы делаете на своём компьютере. Он будет документировать и сортировать всё, что видит на экране, независимо от того, в каком приложении вы работаете. Собранную информацию он превратит в так называемые «воспоминания», в которым вы сможете вернуться спустя время.

Например, пока вы будете вести беседу в WhatsApp для Windows, AI Explorer сохранит содержимое экрана, обработает его с помощью искусственного интеллекта, чтобы позднее вам было проще найти информацию из этого диалога. Также AI Explorer предложит свою помощь с обобщением бесед, электронных писем, веб-страниц и другой информации.

Сообщается, что AI Explorer обрабатывает данные на локальном компьютере без обращения к облачным сервисам Microsoft. Это важно с точки зрения как конфиденциальности, так и производительности. Чтобы уменьшить задержки, AI Explorer будет использовать аппаратный блок NPU в современных процессорах. Весьма вероятно, что пользователи смогут запретить запись и обработку данных из определённых приложений, а также полностью отключить AI Explorer.

Поиск на естественном языке

Пользовательский интерфейс AI Explorer расположится в верхней части экрана. С его помощью пользователи смогут быстро найти нужную информацию на основе заданных критериев. Поскольку функция записывает и анализирует всё, что вы делаете на компьютере, найти можно будет практически любые данные.

Если вы несколько дней назад просматривали веб-страницы о динозаврах, но не можете вспомнить названия этих страниц, то можете ввести запрос «покажи веб-страницы о динозаврах, которые я просматривал несколько дней назад», и AI Explorer найдёт их. Беседовали с другом о сериале Fallout, но не можете вспомнить, с кем именно и в каком приложении? Введите запрос «найди мои беседы о сериале Fallout», и AI Explorer найдёт их в своей памяти, а также укажет время этих диалогов.

Преимущество AI Explorer в том, что он позволяет искать контент с помощью естественного языка. Вы не ограничены строгими условиями поиска. Если вы ищете документ, который коллега Боб отправил в Slack, то просто введите запрос «найди тот файл, который Боб отправил мне в Slack несколько недель назад», и AI Explorer выведет результаты поиска на основе той информации, которую функция зафиксировала и обработала.

Конечно, вы можете использовать и обычные поисковые запросы, например, «FY24 earnings». AI Explorer отобразит все случаи, когда эта фраза встречалась на экране.

Контекстная информация в любом приложении

AI Explorer может не только запоминать, но и анализировать происходящее на экране, чтобы предлагать контекстные действия или задачи на основе этой информации. Например, если вы просматриваете изображения в приложении или на веб-странице, AI Explorer может предложить такие действия, как «удаление фона с изображения с помощью Paint», котоыре можно выполнить одним кликом мышью.

Также вы сможете попросить AI Explorer сравнить два документа, находящихся на экране. При этом действии функция обратится к Microsoft Copilot. AI Explorer сможет прочитать, изучить и помочь составить ответ на электронное письмо или сообщение чате независимо от используемого приложения. Эта возможность называется «Screen Understanding» и она должна работать в любом существующем приложении, а значит разработчикам не потребуется вносить изменения в код для добавления поддержки.

Не исключено, что разработчики смогут улучшить взаимодействия своих приложений с AI Explorer, но даже без этого функция сможет анализировать, сортировать и предлагать контекстные действия для контента в любых приложениях.

Новая эра ИИ в Windows

Источники, знакомые с AI Explorer, описывают его как действительно полезного ИИ-помощника, который работает в фоновом режиме, чтобы улучшить рабочий процесс при использовании Windows. Хотя концепция такого помощника отнюдь не нова. На платформе Mac уже существует стороннее приложение Rewind.ai, которое умеет почти всё, что будет в AI Explorer.

Существование Rewind.ai доказывает, что эта концепция может быть воплощена в жизнь. Можно сказать, что Microsoft делает собственную реализацию этого приложения, но с тесной интеграцией с Windows 11 и переносом обработки задач с центрального процессора на аппаратный блок NPU. Именно AI Explorer будет отличать ПК с ИИ от обычных компьютеров.

Генеральный директор Microsoft Сатья Наделла также заявлял, что благодаря искусственному интеллекту персональные компьютеры вступят в новую эту. В этом году мы увидим, как ИИ может помочь и улучшить цифровые рабочие процессы пользователей в Windows. Новый руководитель команды Windows Паван Давулури (Pavan Davuluri) также упоминал ИИ в Windows:

AI Explorer — не единственная функция на базе ИИ, которая появится в Windows 11 в 2024 году. Сообщается, что Microsoft разрабатывает более продвинутые эффекты Windows Studio Effects и улучшенную функцию «Живые субтитры» с возможностью перевода в режиме реального времени. Будут и новые возможность с генеративным искусственным интеллектом. А некоторые возможности Copilot, включая удаление фона в приложении «Фотографии» и генерация изображений в Paint, смогут выполняться на локальном устройстве без обращения к облаку.

Скорее всего, AI Explorer и другие новые функции на базе ИИ будут представлены на мероприятии, которое пройдёт 20 мая.