Что было сломано
Аудит проверяет чужой сайт по набору признаков и выдаёт клиенту список утверждений: это есть, этого нет, вот здесь проблема. Ценность продукта целиком держится на одном свойстве — утверждение должно быть верным. Ложная тревога здесь хуже пропуска: клиент идёт чинить то, что не сломано, и перестаёт верить остальному списку.
Первый прогон на старой пачке сайтов дал 15,2% ложных тревог. Разбор этих 15,2% оказался поучительнее самой цифры:
| Что скрывалось за 15,2% | Природа |
|---|---|
| 2 настоящих дефекта продукта | аудит действительно ошибался — чинить в продукте |
| 3 артефакта самого замера | ошибался стенд, а не продукт — чинить в замере |
Три из пяти проблем оказались не в продукте, а в приборе. Если бы мы приняли 15,2% за чистую характеристику аудита, то полтора дня чинили бы то, что работает, и не заметили бы двух настоящих дефектов среди шума. Это тот же класс, из-за которого 19 наших замеров из 24 в другой серии оказались недействительными.
Отозванный замер — и почему мы о нём пишем
Первая версия этого же замера была отозвана целиком. Причина техническая и обидная: стенд читал ответы сайтов в сжатом виде, не распаковывая их. То есть он честно измерял то, что не имело отношения к содержимому страниц.
Старая цифра из того замера не цитируется нигде — ни в презентациях, ни в разговоре. Она красивее нынешней, и именно поэтому опасна: отозванный результат, оставленный «для общего ощущения», через месяц возвращается в документ уже без пометки об отзыве.
Правило, которое мы из этого держим: у отозванного замера нет «примерного смысла». Он либо перепрогнан, либо его нет.
Перезамер: числа
| Что мерили | Результат |
|---|---|
| Чужих сайтов в выборке | 20 |
| Проверяемых утверждений всего | 160 |
| Ложных тревог | 1 — это 0,6% |
| Универсальные утверждения — те, что реально уходят клиенту | 33 из 33 верных, ложных нет |
Единственная ложная тревога тоже разобрана поимённо. Аудит написал «цены не найдены» на сайте, где цена есть — но лежит в подписи к превью и дорисовывается скриптом уже в браузере. Формально аудит прав: в разметке страницы цены нет. Практически — утверждение неверное, и мы засчитали его как ложную тревогу, а не как «особый случай».
Для сравнения — сколько бывает без починки
Чтобы 0,6% не выглядели само собой разумеющимися: у соседнего инструмента того же семейства ложная краснота на нашем собственном сайте достигала 68%. Две трети срабатываний были ни о чём.
Инструмент с такой долей ложных тревог не просто бесполезен — он вреден: он обучает команду игнорировать красный цвет. После этого настоящая находка проходит мимо вместе с шумом, и виноватым выглядит уже не прибор, а человек, который «не заметил».
Что из этого забрать себе
- Долю ложных тревог своего инструмента надо знать числом. Не «редко ошибается», а доля на выборке, которую можно назвать.
- Мерить надо на чужом материале. На своём сайте инструмент настроен и приучен; посторонние сайты — единственная честная выборка.
- Разбирать ложные тревоги поимённо. Наш разбор пяти проблем показал, что три из них были в стенде. Без поимённого разбора это неотличимо.
- Отозванный замер не имеет «примерного смысла». Либо перепрогон, либо цифры нет.