Бывший сотрудник Microsoft Джерри Берг, который проработал в компании более 15 лет и отвечал за разработку инструментов и процессов для автоматизации тестирования операционных систем Windows, опубликовал видео на своём канале YouTube, в котором объяснил, почему в обновлениях Windows сейчас так много ошибок.
За последние несколько лет Microsoft значительно изменила процессы тестирования. Ещё в 2014–2015 годах в Microsoft работала целая команда, занимавшаяся тестированием операционной системы, сборок, обновлений, драйверов и другого кода. Тесты проводились как вручную, так и с помощью инструментов автоматизированного тестирования, и лишь после прохождения всех тестов код интегрировался в Windows.
В лабораториях команды проводили автоматизированное тестирование на «реальных» устройствах, которые имели разные процессоры, жёсткие диски, видеокарты, звуковые карты и так далее, охватывая широкий спектр конфигураций устройств. Такой подход позволял выявлять ошибки, которые проявлялись только на определённых конфигурациях систем.
Впоследствии Microsoft уволила почти всю команду тестеров Windows, а также перенесла большую часть тестов на виртуальные машины, так что в большинстве случаев тестирование больше не проводится на реальных и различных конфигурациях систем. Теперь основным источником данных, помимо автоматизированных систем тестирования, является телеметрия и программа Windows Insider. Инсайдерские сборки устанавливаются на миллионах устройств, и Microsoft собирает телеметрию с них.
Однако главная проблема со сбором телеметрии заключается в том, что большая часть ошибок не выявляется с её помощью. Если что-то не работает, то Microsoft часто не может получить необходимые данные из телеметрии. Обычно пользователи не сообщают об ошибках либо не предоставляют необходимую информацию, что создаёт огромные проблемы инженерам, занимающимся решением этих ошибок.
В прошлом же команда тестеров Microsoft занималась анализом ошибок и проблем, и предоставляла инженерам подробные и корректные данные, необходимые для их устранения. Теперь же ошибки устраняются на основе телеметрии, после чего исправления отправляются на устройства инсайдеров, чтобы выяснить, исправлена ли проблема и не появились ли новые ошибки. Именно это и приводит к увеличению числа проблем и ошибок, с которыми пользователи сталкиваются при установке накопительных и функциональных обновлений Windows.