Спор не о словах: три разных плана действий
Статусы стоят внимания постольку, поскольку из них следуют разные действия. Три состояния, которые чаще всего склеивают в одно «не подтверждено»:
| Статус | Что произошло | Что делать дальше |
|---|---|---|
| Гипотеза | замера не было вовсе | провести замер — один прогон закрывает вопрос |
| Опровергнуто | показано, что утверждение ложно | менять картину мира и всё, что на утверждении стояло |
| Недействительно по условиям | замер проведён, данные есть, но процедура нарушена | перемерить в чистых условиях; об объекте пока не сказано ничего |
Третья строка — не оттенок второй. Опровержение сообщает о предмете, недействительность — только о нас: мы плохо поставили опыт. Смешав их, команда перестаёт верить исправному предмету либо чинит то, что не ломалось.
Три подвердикта, которые завелись сами
Формального пятого статуса у нас не было — а тремя разными пометками «недействительно» инструменты пользовались уже месяц: различение понадобилось на практике, а не за столом.
| Подвердикт | Что нарушено | Типичный симптом |
|---|---|---|
| Загрязнение контекстом | верный ответ лежал перед участником в автоматически подгруженных материалах | меряется не способность, а дочитанность до нужной строки |
| Устаревший эталон | образец для сравнения взят из отставшего состояния рабочего дерева | устаревший список штрафует участников за актуальные значения как за выдумку |
| Неравные условия | часть участников видела материал, часть нет | каждый по отдельности честен, сравнение между ними невозможно |
Сплошной скан истории замеров этим правилом забраковал 19 прогонов из 24. Ни один из девятнадцати не был опровергнут — вывода о моделях из них не следует никакого, и это совсем другая новость, чем «модели хуже, чем мы думали». Коварнее прочих второй подвердикт: прибор исправен и честно сравнивает ответ с образцом, недействителен образец — заметно это только по координате состояния, из какого среза образец взят и когда.
Скользящее окно: артефакт повторён верно, число другое
Второй разрыв нашёлся на сверке трёх чисел из внутреннего реестра: количество сессий, доля одной модели в общем расходе, вилка стоимости коротких задач. Проверяющий взял тот же инструмент, прогнал его правильно и получил другие значения — все три ушли в «не подтверждено».
Причина не в числах и не в приборе. Метрика считалась «за последние N суток», то есть каждый час отвечала иначе. Оба замера верны и описывают разные окна: числа 968 и 43% не были ложью — им не хватало одного слова о том, за какой отрезок они посчитаны.
Цена склейки названа в самом реестре: «следующий читатель выбросил бы рабочие замеры» — вместе с выводом, ради которого они делались. Отсюда статус «верно в своём окне» и обязательное поле окно замера у метрик вида «за период».
Итоговая решётка: шесть состояний вместо четырёх
| Состояние | Признак | Чем поднимается |
|---|---|---|
| Подтверждено | есть артефакт, повтор, названы условия | — |
| Гипотеза | смысл ясен, проверки не было | одним прогоном |
| Верно в своём окне | повтор воспроизводится, значение плывёт | указанием окна — не перепроверкой |
| Недействительно по условиям | процедура нарушена | перезамером в чистых условиях |
| Опровергнуто | показано, что ложно | только новым замером с нуля |
| Мнение | утверждение нечитаемо: утрачено поле смысла | дописать недостающее поле и переформулировать |
Ценность решётки не в полноте, а в том, что каждая строка отвечает на вопрос «чья это новость»: три средние — о процедуре, первая и пятая — о предмете, последняя — о формулировке.
Ложное понижение — класс, которого не ищут
В отчётах принято искать завышенную уверенность: назвали подтверждённым то, что не проверяли. Обратный класс в корпусе тоже есть — 2 случая из 96. Первый — скользящее окно выше. Второй — автоматический проверяющий, требовавший конкретного слова: ответ описывал то же самое своими словами и получил 0 из 3 при фактически верных 3 из 3.
Асимметрия внимания. Завышенная уверенность заметна — кто-то приходит и опровергает. Заниженная конфликта не порождает: верный результат тихо не используется. Правило чтения: «опровергнуто» без указания, что показано ложным, подозрительно так же, как «подтверждено» без артефакта.
Что забрать себе
- Разведите «недействительно» и «опровергнуто» в шаблоне отчёта. Одна колонка, два значения — этого достаточно, чтобы читатель не выбросил исправный предмет.
- У любой метрики «за период» требуйте окно — иначе два человека честно получат разные числа.
- Недействительный замер не пересуживают, а перепроводят: другой вердикт по старым данным наследует ту же порчу.
- Проверяйте условия до прогона: загрязнение контекстом, устаревший эталон, неравные условия — три вопроса на минуту.
- Ищите ложные понижения отдельно: по «не подтверждено» за месяц — показано ли, что ложно?