Знаменатель считается до процентов
Любая доля врёт ровно настолько, насколько неаккуратно собран знаменатель. Считать по всем файлам каталога нельзя: часть закрыта от индексации, часть — редирект-заглушки.
| Шаг отбора | Страниц |
|---|---|
| Всего файлов страниц в дереве | 2388 |
| Минус закрытые от индексации | −178 |
| Минус редирект-заглушки | −14 |
| Живых страниц в замере | 2196 |
Разница между 2388 и 2196 — 192 страницы. Знаменатель «по каталогу» сдвинул бы все проценты отчёта ровно на неё и сделал бы два соседних замера несравнимыми.
Что дала правка генератора
Массовые дефекты жили не на страницах, а в шаблоне, поэтому правились две точки в генераторе, а не семьсот файлов руками. Замер до и после — тот же корпус, тот же прибор.
| Показатель | База | После двух правок |
|---|---|---|
| Красных страниц | 821 (37,4%) | 164 (7,5%) — минус 657 |
| Зелёных страниц | 1360 (61,9%) | 2014 (91,7%) — плюс 654 |
| Находок всего | 6489 | 271 — минус 6218 |
| Из них по правилу прямого ответа | 411 | 31 |
| Изменённых файлов страниц | — | 730 |
| Сломанной разметки данных | — | 0 |
Чего этот замер не доказывает. Прибор здесь один — наш гейт, и мерил он исходники. Правка не выложена, поэтому утверждать «у читателя стало лучше» мы не имеем права. Можно ровно одно: в дереве красное упало с 821 до 164, разметка данных не поломалась нигде.
Сам прибор к моменту заезда прошёл отдельную приёмку: мутационный набор вырос с 17 до 27 кейсов, добавлен режим наблюдения. Без этого шага падение красного читалось бы двусмысленно — правку контента и правку прибора в одном числе не различить.
Откат по замеру: правка улучшала каждую страницу и портила корпус
Первый вариант правки выглядел бесспорно: добавить на страницы полезный блок текста, каждая отдельная страница от него выигрывала. Замер по корпусу показал обратное — уникальность просела, а часть страниц перешла критический порог в худшую сторону. Правку отменили в тот же заход.
Закон, который мы вынесли. Долив одинакового текста снижает уникальность корпуса, даже если текст осмысленный и полезный. Чем больше страниц получают один и тот же добротный абзац, тем сильнее они становятся похожи друг на друга.
Второй вариант замер принял: уникальность корпуса пошла вверх, страниц ниже критичного порога стало меньше, через порог не перешла ни одна. Разница между отменённым и принятым видна только на корпусе — постранично оба выглядели полезными. Независимый контрольный опыт на отдельной группе реальных страниц повторил обе картины.
Ноль изменений — тоже результат
Третья правка меняла не сайт, а прибор: гейт научили проверять, доходит ли текст до читателя, а не только лежит ли он в исходнике. Строгости добавилось — значит красного должно было прибавиться. Перепрогон на том же корпусе:
| Вердикт | До правки прибора | После |
|---|---|---|
| Красных | 161 | 161 |
| Жёлтых | 18 | 18 |
| Зелёных | 2017 | 2017 |
| Страниц, у которых сменился цвет | 0 | |
Отдельно проверялось, есть ли на сайте участки текста, недостижимые читателю: найденный кандидат при разборе оказался ложным, итог — ноль. Такой ноль доказывать дороже, чем находку: нужны честный знаменатель, сравнение до и после и разбор каждого кандидата.
Что забрать себе
- Знаменатель фиксируется до первой цифры. Иначе два ваших собственных отчёта окажутся несравнимыми.
- Правка принимается по замеру до и после, а не по правдоподобию. Отменённый вариант выглядел полезнее принятого.
- Локальное улучшение и улучшение корпуса — разные величины. Проверяйте ту, которой вас будут мерить.
- Изменение прибора мерится отдельно от изменения объекта — в одном числе они неразличимы.
- Пока не выложено — говорить «в исходниках». Красное в репозитории и красное у читателя совпадают не всегда.