Статистический анализ ошибок Windows Vista

В последних версиях Windows Vista в приложении Connect появилась новая возможность просмотра ответной информации присылаемой пользователями. Просматривая лист сообщений о недавних ошибках, Роберт Маклоуз (Robert McLaws), автор блогов Longhornblogs решил составить статистический анализ ошибок в предварительных версиях ОС. А мы предоставляем вам перевод данного материала.

После чертырех с половиной часов обработки информации об ошибках и исключении повторяющихся ошибок (было обнаружено 1072 повторяющихся системных ошибок), были получены следующие данные:

Ошибки Windows Vista (по состоянию на 3 июля 2006):

Удивляет большое количество закрытых ошибок - более 20,000. Важно отметить что, за несколько месяцев до выхода корпоративной версии Windows Vista, 1/5 часть от общего числа ошибок, остается открытой. Но Microsoft довольно быстро закрывает ошибки, информация о примерно 250 ошибках поступила около двух месяцев назад на момент написания статьи.

Множество сообщений об ошибках появилось после выхода сборки 5456. Роберт Маклоуз, провел исследование относительно того, связан ли всплеск обнаружения ошибок с выходом новой сборки. Был составлен статистический график, на котором обычным сборкам было присвоено их CTP наименование, а промежуточные TAP-сборки обозначены их номером. Вот что получилось:

Достаточно наглядно, за исключением TAP-сборки 5259, каждый выход очередной сборки сопровождался всплеском сообщений о новых ошибках. Сборка 5259 была исключением, так как после удаления повторяющихся системных ошибок, их общее количество стало незначительным.

Полученный график может слегка искажать реальную картину, но были получены данные о том, что в среднем, тестеры сообщали о 81 ошибке в день. Также по данным графика можно сделать следующие выводы:

• За исключением промежутка времени между выходом в декабре и феврале CTP-версий и после выхода Beta 2, Microsoft последовательно выпускала новые сборки через каждые 6 недель.
• В течение 24 часов после выхода очередной сборки, обнаруживаются около 200 новых системных ошибок. Получается, что тестеры буквально после входа в систему быстро находят новые ошибки, а потом приступают к повседневной работе с относительно низким процентом обнаружения новых ошибок.
• Сборка 5270 была первой, которая превысила показатель 300 ошибок (353 в первый день, и 338 во второй).
• За исключением 3 июня, темпы обнаружения ошибок значительно увеличились, после выхода Beta 2, и этот показатель еще увеличился после выхода CPP-версии. Это ожидалось, поскольку Beta 2 была первой сборкой Windows Vista, которая стала широко доступной.

Последний пункт особенно важен по нескольким причинам. Прежде всего, количество открытых ошибок продолжает расти после выхода Beta 2. Это значит, что у Microsoft еще много работы. Во-вторых, хотя, в среднем, тестеры находят около 80 ошибок в день, при детальном рассмотрении, оказывается что, начиная с 1 мая, количество ошибок, найденных за день постоянно увеличивается, а не наоборот, приближаясь к значению 200 ошибок. С ростом количества тестеров Beta 2, увеличивается и объем ответной информации, общая тенденция выглядит следующим образом:

Теперь посмотрев на все эти данные можно подумать, что новые билды содержат все больше и больше новых ошибок. Но это не правильное предположение. Это не значит, что становится больше ошибок, просто становится больше тестеров.

Вместе с этим, полученные данные поднимают новые вопросы, на которые нет ответов. Например:

• Ввиду того, что приложение Connect не показывает дату обнаружения ошибки в списке, невозможно сделать более подробный анализ ошибок, такой как давность обнаружения или иной рейтинг. Важный фактор в достижении успеха программного продукта скрыт в вопросе, сколько потребуется времени на решение проблем, и какое количество ошибок закрывается в каждом месяце.
• Система решения проблем, используемая Microsoft далека от идеала и не позволяет проанализировать количество дублированных ошибок или невоспроизводимых. Запутывает то, что Microsoft не четко проводит грань между понятиями закрытых и решенных ошибок. Если проблема закрыта, это значит что ошибку невозможно воспроизвести, а если решена, то это значит, что тестерами было адресовано около 1000 проблем.
• Приложение Connect не связано с внутренней базой данных  Microsoft. Поэтому не известно о реальном количестве системных ошибок.
• Microsoft встроила огромное количество функции, через которые пользователь может автоматически отправить сообщение об ошибке. Но на деле обычный пользователь этого не делает, поскольку WER реагирует на эту ошибку.

Определенно, Microsoft располагает более подробными данными об ошибках, но вряд ли компания сможет ответить на поставленные здесь вопросы (хотя было бы не плохо, если смогла бы). В противном случае, Microsoft должна разработать инструмент, с помощью которого тестеры могли бы отсылать свои сообщения прямо в Connect, тогда получать общую информацию стало бы намного удобней и не приходилось бы проводить битых два дня за анализом всех данных.

В заключение нужно сказать, что этот анализ показывает, насколько усердно работают тестеры и не дает понять, что делает Microsoft с получаемой информацией. Но все же статистка не к чему - и так видно, что с выходом новых сборок их качество улучшается. Особенно это можно сказать о сборке 5456. Вообще приложение Connect может послужить хорошим средством в стремлении компании стать прозрачнее и больше задействовать пользователей в процессе разработки. У команды Windows еще много работы в этом направлении, но они добились заметного прогресса.