Мнение: программа Windows Insider должна измениться

Автор: Kapranov23 ноября 2018 в 22:13

Мнение: программа Windows Insider должна измениться

Уважаемые читатели! Позиция автора статьи может не совпадать с мнением редакции.


В 2014 году компания Microsoft провела масштабное сокращение, которое затронуло не только сотрудников приобретённого мобильного подразделения Nokia, но и штат тестировщиков, который заменили новыми процедурами и программой Windows Insider. Тогда же у экспертов появились опасения, что качество выпускаемых продуктов может существенно снизиться.

Впрочем, на тот момент опасения не оправдались. Концепция «Windows как сервис» предполагает обновление операционной системы Windows 10 два раза в год, так что обнаруженные проблемы должны довольно оперативно исправляться, в том числе благодаря отзывам участников программы Windows Insider. Все мы ожидали, что с течением времени качество и надёжность операционной системы будет расти, а инсайдеры действительно смогут влиять на развитие Windows.

Однако в какой-то момент выстроенная система тестирования начала давать сбой. Последние несколько релизов функциональных обновлений для Windows 10 вызывают проблемы у пользователей, а более-менее законченный вид система обретает лишь через несколько месяцев после выхода, когда основные ошибки устраняются накопительными обновлениями. Но к этому моменту дело идёт к релизу следующего функционального обновления, круг замыкается. Таким образом, мы получаем фактически бесконечный процесс тестирования и обкатки системы на простых пользователях.

Сложившаяся ситуация не внушает оптимизма. О необходимости решения проблем всё больше и больше высказываются журналисты, эксперты и MVP. Но Microsoft продолжает делать вид, что всё нормально и, видимо, не собирается предпринимать какие-то шаги в направлении улучшения качества операционной системы. Пост в блоге, опубликованный после повторного старта распространения October 2018 Update, выглядит скорее как оправдание и вовсе не объясняет причины произошедшего.

Ещё раз напомним, что обновление до October 2018 Update у некоторых пользователей удалило личные данные. Безусловно, ошибки случаются у всех, хотя проблемы подобного характера обязаны исправляться до выхода продукта. Но важно другое. Об этой проблеме инсайдеры неоднократно сообщали за 3 месяца до релиза, однако она так и не была исправлена.

Казалось бы, Microsoft пора задуматься о том, почему происходят подобные ситуации. Но вместо этого в приложение «Центр отзывов» добавили переключатели, позволяющие по пятибалльной шкале отметить важность отправляемого отзывы. Поможет ли это? Вряд ли. Небольшие улучшения может быть и будут, но кардинально проблему не решит, так как многие инсайдеры начнут отмечать важными все свои отзывы. Мы имеем дело с фундаментальными проблемами в системе тестирования, а подобными нововведениями Microsoft просто пытается сказать нам: «Вот видите, мы работаем».

Понятно, что компания не готова признать, что её ключевые задумки не сработали. В идеале было бы сделать связку из штатной команды тестировщиков и программы Windows Insider, но на это в Microsoft не пойдут. Остаётся только несколько пересмотреть концепцию «Windows как сервис» и заняться существенной переработкой программы Windows Insider.

В этой статье, вступление которой оказалось довольно объёмным, я хотел бы поделиться с вами своим видением того, как именно должна выглядеть Windows Insider и какие изменения должны сопутствовать этому. Безусловно, всё написанное требует доработки, но в общих чертах суть будет ясна. Если же при прочтении у вас возникнут вопросы, идеи или дополнения, то вы можете оставлять их в комментариях, будем рады обсудить.

Одно крупное обновление в год

На самом деле, простое увеличение срока разработки новой версии системы практически не повлияет на качество релизов. Необходимо увеличить срок, который на этапе разработки отводится на тестирование и шлифовку системы. Но если это сделать в рамках двух обновлений в год, то мы получим ситуацию, при которой крупные обновления для Windows 10 будут содержать в себе очень небольшое количество изменений. И именно это приводит к мысли о необходимости перейти на модель с выпуском одного обновления в год.

Безусловно, если Microsoft найдёт способ оставить хотя бы на прежнем уровне количество нововведений, при этом увеличив срок тестирования системы, то я отнюдь не против двух обновлений в год. Но, на мой взгляд, сделать подобное будет несколько затруднительно.

Windows Insider

Но, как я уже говорил, главная проблема связана с нынешней системой тестирования функциональных обновлений для Windows 10. Программа Windows Insider, которая призвана помогать инженерам находить и исправлять ошибки в системе, не справляется со своими обязанностями.

Microsoft создала 4 круга обновлений для инсайдеров: Skip Ahead, Fast, Slow и Release Preview. Задумка неплохая, но реализация оставляет желать лучшего, так как нормально работает только Fast. По остальным же ситуация такова:

  • Skip Ahead. Создавался для того, чтобы инсайдеры могли пропустить этап подготовки к релизу новой версии системы, сразу перейдя к тестированию ранних сборок следующего функционального обновления. В итоге же сборки на Skip Ahead по функционалу отстают от Fast приблизительно на 2 недели, а новый функционал в сборках начинает появляться лишь после объединения Fast и Skip Ahead. Этот круг обновлений бесполезен.
  • Slow. О существовании этого круга, видимо, в Microsoft иногда забывают. Сборки на нём выходят достаточно редко. На этапе подготовки к релизу его можно было бы использовать гораздо более активно.
  • Release Preview. Изначально планировалось, что на этом круге будут выпускаться предварительные версии накопительных обновлений, а также предрелизные сборки новых функциональных обновлений. Однако о тестировании накопительных обновлений быстро забыли, а новую версию системы инсайдеры получают либо за несколько дней до релиза, либо через несколько часов после релиза, как в случае с October 2018 Update. А ведь именно этот канал способен помочь с отловом ошибок, возникающих при обновлении с предыдущей версии системы.

Конечно, можно начать использовать эти круги обновлений на полную мощь, но произойдёт ли улучшение качества Windows 10? Скорее всего, определённые положительные изменения будут, но далеко не факт, что будет достигнут тот результат, которого мы ожидаем.

Думая над тем, как можно улучшить программу Windows Insider, я набросал некоторую концепцию, которой и хочу поделиться с вами. Здесь важно отметить, что всё описанное ниже требует существенной доработки, но даёт общее представление о том, в каком направлении можно было бы двигаться.

Круги обновлений Windows Insider

Круга Skip Ahead в концепции нет, поскольку, на мой взгляд, необходимости в нём нет. На остальные же описанные круги попасть можно после выполнения небольшого теста, тем самым можно на раннем этапе определять, какие пользователи принесут наибольшую пользу на том или ином канале. В дальнейшем, основываясь на качестве отзывов инсайдера, его могут перевести на другие круги. Правда нужно учитывать, что на менее стабильные нужно переводить лишь после согласия пользователя. По поводу определения качества отзывов чуть подробнее в следующем разделе.

Alpha (или нынешний Fast)

  • Суть: большое количество новых функций, низкая стабильность;
  • Количество инсайдеров: 50 000 человек;
  • Доступ только выбранным учётным записям (никаких правок реестра);
  • Частота выхода сборок на этом этапе разработки: приблизительно 1 раз в 2 недели;
  • Возможности: общение с инженерами, возможность влиять на разрабатываемый функционал;
  • Срок: 4-5 месяцев.

Beta (или нынешний Slow)

  • Суть: функционал сформирован и нуждается в шлифовке и мелких корректировках, система более-менее стабильна, проверяем корректность обновления с релизной версии.
  • Количество инсайдеров: 100 000 человек;
  • Доступ только выбранным учётным записям (никаких правок реестра);
  • Частота выхода сборок на этом этапе разработки: приблизительно 1 раз в 2 недели;
  • Сборки получают одновременно и Alpha, и Beta.
  • Возможности: отправка отзывов.
  • Срок: 3-4 месяца.

Release Preview

  • Суть: подготовка системы к релизу, работа с телеметрией, исправление критических ошибок, тестирование процесса обновления с релиза.
  • Количество инсайдеров: неограниченно;
  • Частота выхода сборок на этом этапе разработки: приблизительно 1 раз в неделю;
  • Сборки получают одновременно и Alpha, и Beta, и Release Preview.
  • Особенности: распространение проходит в несколько этапов. Например, первая сборка отправляется для 10 тысяч инсайдеров. Следующая отправляется им же + ещё 10 тысяч инсайдеров. Такая схема поможет проверить исправление ошибок, которые возникают в процессе обновления с релиза.
  • Срок: 3 месяца.

Таким образом, изначально сборки системы становятся доступны только инсайдерам на канале Alpha, через несколько месяцев к ним присоединяются инсайдеры с канала Beta, а ещё через несколько месяцев — Release Preview.

Рейтинг

Здесь всё довольно просто. За каждый отправленный отзыв будут начисляться очки рейтинга. Чем более качественные отзывы отправляет инсайдер, тем выше его рейтинг. Очки могут начисляться как за сам отзыв, так и за дополнительную информацию к отзыву, если её запросил инженер.

Зачем это нужно? Во-первых, можно будет чистить круги Alpha и Beta от инсайдеров, которые отправляют некачественные отзывы. Аналогично и наоборот, на основе рейтинга инсайдеру могут предложить перейти, например, с Release Preview на Beta или Alpha. Во-вторых, можно выдавать какие-нибудь награды инсайдерам с наивысшим рейтингом.

Баллы

Наряду с рейтингом, пользователю будут начисляться баллы. Опять же, чем качественнее отзывы, тем больше баллов будет начислено. Эти баллы можно будет обменять, например, на подписку Office 365, Xbox Game Pass, а быть может и на какой-нибудь мерч, типа фирменных футболок, кружек и прочей продукции.

Что это даст?

К чему же приведут эти изменения? Прежде всего, на этапах Alpha и Beta мы сознательно ограничиваем количество поступаемых отзывов, но одновременно с этим вырастет и качество отзывов. Инсайдеры действительно смогут влиять на развитие операционной системы, а инженеры Microsoft смогут достаточно оперативно реагировать на поступающие отзывы.

Благодаря системе рейтинга, у руководителей программы Windows Insider появится отличная возможность чистить каналы Alpha и Slow от тех инсайдеров, которые предоставляют отзывы очень низкого качества. А система начисления баллов будет дополнительной мотивацией для инсайдеров, ведь довольно приятно получить небольшой подарок от Microsoft за вклад в развитие операционной системы. Не думаю, что для Microsoft это является большой проблемой.

В этой концепции канал Release Preview является открытым и предназначен для сбора телеметрии и отзывов о проблемах, которые возникают в процессе обновления с предыдущей версии системы. Остальные же ошибки, вероятнее всего, будут обнаружены ещё на этапах Alpha и Beta. Особых проблем с обработкой этих отзывов быть не должно, хотя их качество будет явно ниже.

Безусловно, вся эта концепция требует существенной доработки и активного мозгового штурма, но возможно эти изменения пошли бы на пользу программе Windows Insider. Очевидно лишь то, что изменения напрашиваются. Но какими должны быть эти изменения? Ответ на этот вопрос должны найти в Microsoft. А пока же будем с нетерпением ждать выход следующего функционального обновления и надеяться на лучшее.

Нашли слово с ошибкой? Выделите его и нажмите Ctrl + Enter
Комментарии (9)
  1. Igor Bliznuk 23 ноября 2018 в 23:15
    +2
    Идея в целом не плохая.
    Но для ее реализации майкам потребуются все таки расширить инсайдер команду тестировщиками которые смогут транслировать отзывы инсайдеров в окончательно понятные тикеты для разработчиков. В этом случае разработчики смогут сконцентрироваться на разработке и фиксах. В то же время тестировщики будут достаточно квалифицированными ребятами для того, чтобы оценить качество отзывов от инсайдеров.
    Что же до частоты выхода сборок, тут все не так просто. Не имеет смысла выпускать бэта и релиз превью билды каждую неделю, просто потому, что нечего будет выпустить.
  2. Marwin 24 ноября 2018 в 02:12
    +1
    Проблема тестирования на инсайдерах имеет более глубокие корни...
    1) в отличие от тестировщиков фирмы инсайдеры не тестят малопопулярные фичи, не нужные в обычной жизни, да что там говорить... я даже Paint 3D ни разу в жизни не запускал. Там может быть миллион багов, но про них никто не сообщит, ибо фича либо туфта, либо слишком узкоспециализированная.
    2) у подавляющего числа инсайдеров идеальное, ухоженное железо, свежие дрова и программное окружение, которое не глючит и выверено временем. Ни один здравомыслящий компьютерно-грамотный инсайдер не купит себе ноутбук HP, ибо это проприетарный кусок... хлама, на который вечно левые кастомные дрова, захардкоденные модифицированными dev id комплектующие. А в итоге как раз с такими компами и случаются большинство фейлов.
  3. Ни один здравомыслящий компьютерно-грамотный инсайдер не купит себе ноутбук HP, ибо это проприетарный кусок... хлама, на который вечно левые кастомные дрова, захардкоденные модифицированными dev id комплектующие. А в итоге как раз с такими компами и случаются большинство фейлов."

    ну такой нищеброд как вы не купите это ж понятно...не знаю что вы понимаете под словом "хлам"
    осенью 2012 г я купил себе для работы и поездок ...не для дома..Ноутбук HP EliteBook 8470p точно уже ..не помню отдал около 1,800$

    14.1" 1366x768 / Intel® Core™ i5-3320M 2,6 GHz -3,3 GHz (с технологией vPro помогают снизить затраты на техническое обслуживание за счет средств дистанционной настройки, диагностики, изоляцию и очистки зараженных вирусами компьютеров)/ RAM 4096Mb / HDD 320Gb / Intel HD 4000 / Wi-Fi, 3G&4G , Bluetooth 4.0/ Web Cam / 2x USB 3.0, 1x USB 2.0, 1x eSATA+USB / Display port / Win7 Pro , 3 года поддержки...это не все его достоинства..

    пожже установил SAMSUNG RAM 8Gb (2x4) и Intel® 128Gb SSD + докупил HP Ultra Extended Life Notebook Battery получил до 24 часов работы и...вот хочу заказать модуль HP un2430 EV-DO/HSPA Mobile Broadband module


    да возможно он уже хлам....но почему-то пришло обновление в 2015 г до Windows 10 Pro
    и выходят обновления для UEFI...этом году 3 обновления….есть драйвера для Windows 10

    "на который вечно левые кастомные дрова"

    драйвера выложенные на оф. сайте HP упакованы и имеют цифровую подпись Hewlett-Packard Company
    *Подтверждает, что программное обеспечение получено от конкретного издателя
    *Защищает программное обеспечение от изменения после его публикации
    есть подписи других сторон Symantec Time Stamping Services Signer - G4
    1. Sergerey 24 ноября 2018 в 17:50
      0
      Да успокойтесь, всем насрать на ваш HP и всю его подноготную. Человек говорил совсем о другом.
  4. Я думаю что единственным решением данной проблемы является увеличения сроков выпуска крупных обновлений с 2-х раз в год, до 1 раза в год на пример только одно осенние обновление и нужно это именно для того чтобы у специалистов было время на отлов и устранение критических багов за долго до официально релиза, так как я считаю что даже чисто физически не возможно успеть за пол года разработать и обкатать практически новую версию системы а если быть честными то по сути разработка крупных обновлений это как создание новых версии ОС по сути каждое крупное обновление является не чем иным как новой версией Windows, а если вспомнить практику разработки предыдущих версий ОС на пример Windows 7, то для выпуска качественного продукта разработка системы велась по 3 года и более, а не по пол года как сейчас. 2-ой как мне кажется не маловажный момент это обеспечить пожизненную поддержку всех версий Windows 10 начиная с самой первой RTM-версии 1507 хотя бы для редакций Windows 10 Pro и Enterprise что бы у пользователей был выбор какой версией ОС им пользоваться, а не навязывать принудительный переход на новые сборки при наличии проблем с драйверами и совместимостью оборудования так как не редки случае когда на прежней версии на пример 1511 всё отлично работало, а при переходе на версию 1607 или 1703 начинались проблемы с «Синими экранами» и т.д. Вот только вся проблема в том что все наши рассуждения не доходят до того кто отвечает за разработку ОС.
    1. Kapranov 24 ноября 2018 в 15:40
      0
      Цитата: Сергей Викторович
      Я думаю что единственным решением данной проблемы является увеличения сроков выпуска крупных обновлений с 2-х раз в год, до 1 раза в год на пример только одно осенние обновление и нужно это именно для того чтобы у специалистов было время на отлов и устранение критических багов за долго до официально релиза

      Если пересмотреть сроки на тестирование ОС в рамках годового цикла разработки, то это даст результаты. А так ведь они могут просто увеличить цикл, но оставить, например, 2 месяца на тестирование. И это уже не даст ожидаемых результатов. Имхо, конечно  wink
  5. Wihar 24 ноября 2018 в 23:12
    0
    50-100 тыс инсайдеров вряд ли найдутся. Я даже не уверен, что даже сейчас столько людей есть в инсайдерсокй программе. Даже если и есть, то только единицы добросовестно пользуются ею и отсылают отзывы. Мне кажется, что только люди на зарплате смогут достойно заниматься тестированием системы, ну или ярые фанаты Microsoft, которые готовы безвозмездно за какие-то плюшки и прочий стаф делать эту работу.

    P.S. Хорошая статья, даже репостнул ее, правда все равно жаль, что просмотров не так уж и много.
    1. Kapranov 24 ноября 2018 в 23:16
      0
      Цитата: Wihar
      50-100 тыс инсайдеров вряд ли найдутся

      Да, наверное несколько перегнул палку в этом плане  smile
      Цитата: Wihar
      Мне кажется, что только люди на зарплате смогут достойно заниматься тестированием системы

      Солидарен. Очень жаль, что команду тестеров сократили в 2014 году... Всё же и возможностей у них явно больше, и инструменты для отладки системы есть, да и можно к инженерам прийти лично и обсудить вопросы.
      Цитата: Wihar
      P.S. Хорошая статья, даже репостнул ее, правда все равно жаль, что просмотров не так уж и много.

      Спасибо  smirk
  6. fessnekro 26 ноября 2018 в 09:26
    0
    Отличная статья, спасибо!!! Имхо, релиз раз в год, а-ля macOS, то что нужно сейчас винде. Я за стабильность.
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.