Как устроена сплошная сверка
Правило простое: любое число, на которое в отчёте опирается вывод, должно находиться на диске в виде строки артефакта — записи прогона, ячейки таблицы, вывода скрипта. Не «примерно такое было», а конкретное вхождение конкретного значения в конкретном файле.
Каждому числу ставится один из трёх статусов. Подтверждено — значение найдено в артефакте. Частично — найдено похожее, но с другим знаменателем, датой или срезом. Не найдено — вхождений нет ни одного, кроме самой строки отчёта.
Итог по двадцати двум числам
| Статус | Чисел | Что с ними делать |
|---|---|---|
| Подтверждено артефактом | 9 | можно публиковать с указанием n и даты |
| Частично | 6 | назвать срез и знаменатель либо не использовать |
| Не найдено на диске | 7 | снять с опоры, перепрогнать или отозвать |
| Всего проверено | 22 | плюс 7 случаев прямого противоречия диску |
Подтвердилась артефактом меньше половины проверенных чисел, и проверка шла по нашим же документам, без единого внешнего участника. Сложного расследования не потребовало ни одно расхождение — хватило поиска значения по файлам.
Поломка номер один: потеряли шкалу
В отчёте стояли три оценки: 96 · 72 · 55. Выглядят как проценты или баллы из ста, читаются убедительно, разница между участниками наглядная. На диске нашлись три другие оценки по шкале 0–10: 10,0 · 9,0 · 7,5.
Троек 96 / 72 / 55 нет ни в одном файле. Пересчётом по шкале они тоже не получаются: верхняя оценка на десятибалльной шкале не даёт 96 ни при каком округлении. Числа появились в момент пересказа — шкала выпала, а порядок величин заменился привычным «из ста».
Почему такую поломку тяжело заметить. Соотношение мест устояло, вывод раздела не изменился, глаз ошибку не ловит. Ломается не рейтинг, а возможность сопоставить его с чем угодно другим — с прошлым замером, с чужой методикой, с порогом приёмки.
Четыре числа, которых на диске нет
| Что было названо | Что нашлось при сверке |
|---|---|
| Сравнение блоков вопросов и ответов: 4,7 против 7,7 | единственное вхождение обоих значений — сама строка отчёта; артефакта замера нет |
| 440 страниц вне карты сайта | разность между двумя реальными числами на диске — 153 |
| 23 класса ошибок | максимум по реестру — 19, на дату сверки — 21; у цифры одновременно ходило три версии |
| Модель бесплатна | прогоны в артефактах есть, поля стоимости нет ни в одной строке — утверждать нечем ни в одну сторону |
Четвёртая строка отличается от остальных и потому поучительнее. Неверного значения никто не называл: из отсутствия поля сделали вывод о нуле — пустота в схеме превратилась в утверждение о факте.
Три механизма вместо хаоса
Разбор двадцати двух случаев даёт короткий список причин — и ни одна не сводится к небрежности отдельного исполнителя.
- Потеря шкалы. Значение переезжает из артефакта в текст без указания, из чего оно взято: десятибалльная оценка читается как процент, миллисекунды — как секунды.
- Потеря знаменателя. «Семь из двадцати» превращается в «семь», потом в «около трети», потом в «треть» уже от другого множества. Каждый шаг выглядит невинно.
- Двойной учёт. Одна и та же величина попадает в сумму дважды — из соседней колонки, из пересекающихся срезов, из повторной строки. Итог остаётся правдоподобным, а значит неоспоренным.
Что забрать себе
- Раз в квартал берите свои громкие числа и ищите их на диске. Не пересматривайте выводы — ищите строку артефакта.
- Различайте «опровергнуто» и «не найдено». Первое требует правки вывода, второе — перепрогона. Смешивать нельзя: получится либо паника, либо покрывательство.
- Пишите шкалу рядом с оценкой всегда. «7,5» без «из 10» — половина числа.
- Из отсутствия поля не делайте вывода о нуле. Пустая колонка означает, что величину не измеряли, а не что она равна нулю или бесплатна.
- Долю выдержавших сверку называйте вслух. Девять из двадцати двух — неприятная цифра, но честнее любого отчёта, где сверки не было вовсе.