Компания Microsoft поделилась подробностями о том, как функция Recall будет использовать Windows Semantic Index и Windows Copilot Runtime. Вместе с этим компания рассказала, как разработчики приложений смогут усовершенствовать свои продукты для работы с Recall, чтобы обеспечить более плавный переход между создаваемыми снимками.

В основе работы Recall лежит новая библиотека Windows Copilot Library, которая содержит набор API-интерфейсов, основанных на более чем 40 моделях и алгоритмах искусственного интеллекта, встроенных непосредственно в Windows. Эта библиотека уже используется во многих новых функциях ИИ в Windows, включая Studio Effects, Live Captions, OCR в Snipping Tool, а теперь и в Windows Recall.

Microsoft заявляет, что Recall будет автоматически работать в большинстве приложениях. Однако разработчики могут расширить возможности функции, добавив контекстную информацию в векторную базу данных с помощью User Activity API. Это позволит Recall вернуться к тому месту в приложении, которое было сохранено.

Microsoft PowerPoint и Teams стали первыми приложениями Microsoft, поддерживающими эту функцию. Также возможности Recall реализованы в стороннем приложении для создания эскизов Concepts.

И немного информации о том, как на самом деле устроена функция Recall:

• Recall использует Windows Semantic Index, новую функцию операционной системы, которая переосмысливает поиск в Windows. В основе Recall лежит несколько современных моделей ИИ, включая мультимодальные SLM, которые работают параллельно и интегрированы в саму ОС.
• Эти модели распознают различные виды контента и поддерживают различные языки, чтобы упорядочить огромное количество информации, будь то текст, изображения или видео. Эти данные преобразуются и хранятся в векторном хранилище под названием Windows Semantic Index. Семантический индекс полностью хранится на локальном устройстве пользователя. Такая глубокая интеграция обеспечивает уникальный подход к конфиденциальности, поскольку данные не покидают пределы устройства.

Microsoft подчёркивает, что все данные, обрабатываемые Recall, остаются на локальном устройстве и не отправляются в облако. Компания также не использует собранные данные для обучения моделей искусственного интеллекта.