Microsoft представила облегченную языковую модель искусственного интеллекта под названием Phi-3 Mini, которая, несмотря на свои скромные размеры, способна обеспечить результаты на уровне GPT-3.5 в ряде задач. Согласно описанию в исследовательском документе, модель Phi-3 Mini была обучена на 3,3 триллионах лексем и имеет 3,8 миллиардов параметров.
Стоит отметить, что над созданием компактных языковых моделей также работают Google, Anthropic и Meta*. На их фоне Phi-3 Mini выделяется уникальным подходом к обучению.
Вице-президент Microsoft Azure AI Platform Эрик Бойд (Eric Boyd) рассказал, что команда вдохновлялась процессом обучения детей через прослушивание сказок на ночь. Однако существующих детских сказок оказалось недостаточно. Чтобы решить проблему, разработчики подготовили список из более чем 3000 слов, а затем попросили LLM (большую языковую модель) сгенерировать «детские сказки» для обучения Phi-3.
Phi-3 Mini не сможет заменить более крупные модели, такие как GPT-4, однако может быть полезной в конкретных задачах. К примеру, компактный размер модели позволяет запускать её на смартфонах и ноутбуках без необходимости подключения к интернету. Также она может быть полезна для организаций, использующих собственные данные для обучения.
* Meta признана экстремистской организацией и запрещена в России.