Разница между «перемерять» и «пересуживать»
Соблазн понятный: ответы моделей уже получены и стоят денег, судья теперь исправен, осталось прогнать разметку заново — дёшево и быстро. Ловушка в том, что правку судьи мы придумали, глядя на конкретные несправедливые вердикты, то есть уже зная, кому она поможет.
| Что делаем | Что меняется | Чему можно верить |
|---|---|---|
| Пересуживаем сохранённые ответы починенным судьёй | только вердикты | ничему: критерий подобран при известном результате |
| Прогоняем заезд заново, сырьё первого захода сохраняем | и ответы, и вердикты | обоим заездам: первый лежит на диске и доступен для сверки |
Сохранённое сырьё первого захода — не архив ради архива. Без него нельзя доказать, что правка судьи не была подгонкой: любой желающий берёт исходные ответы, прикладывает обе версии судьи и видит, что именно поменялось и почему.
Чем доказывали, что судья не стал добрее
Починка судьи всегда подозрительна в одну сторону: проще всего «исправить» его так, чтобы он перестал придираться. Проверка нужна встречная — на образцах, которые обязаны провалиться.
- Перепрогон в режиме самопроверки. Негативные образцы после починки по-прежнему получают отказ — значит строгость на месте.
- Позитивный контроль судей: 6 из 6. Заведомо верные образцы засчитываются, то есть починка не увела судью в другую крайность.
- В сводном прогоне контроль дал 12 из 12. Обе стороны контроля сходятся, и только после этого числа заезда имеют смысл.
Итоговые 25 из 36 — результат некрасивый и неокруглый, и это тоже часть доказательства. Замер, где после починки инструмента всё внезапно сошлось, надо перепроверять первым: ровные числа после правки прибора чаще говорят о приборе, чем об измеряемом.
Артефакт на диске обгоняет отчёт
Сплошная сверка чисел одного дня дала попутную находку. Отчёт утверждал: пять реальных компаний по набору не оценивались, счёт гейтом не считали. Обход рабочего каталога показал обратное — файл с готовым счётом уже существовал.
| Источник | Что говорит |
|---|---|
| Текст отчёта | пять реальных компаний, гейтом не скорено |
| Файл в рабочем каталоге | счёт 7 из 52 (13,5%), 16 распознанных позиций, создан 04.08 20:07 |
Причина обычная и нестыдная: отчёт писался раньше, чем закончилась работа, фраза «не считали» была верна в момент написания и осталась в тексте после того, как счёт посчитали. Опасна не ошибка, а порядок доверия — читающий отчёт получает картину суточной давности и принимает по ней решения.
Правило приёмки, которое из этого выросло. Сначала обход артефактов по времени изменения, потом чтение отчёта. Файл с числом и отметкой времени сильнее любой формулировки в тексте, включая нашу собственную.
Порядок, которым пользуемся
- Сырьё до правки — в отдельный каталог. Ответы моделей, вердикты, конфигурация судьи. Делается до того, как трогаем инструмент, иначе сравнивать будет не с чем.
- Починил прибор — перепрогон целиком. Вердикты прошлого захода не переносятся в новый отчёт ни одной строкой.
- Негативный и позитивный контроль после каждой починки судьи. Заведомо плохое обязано провалиться, заведомо хорошее — пройти.
- Приёмка начинается с файловой системы. Что создано, когда создано, сходится ли с тем, что написано в тексте.
Стоит перепрогон дороже пересуживания — по деньгам и по времени. Разница в том, что после пересуживания у нас был бы результат, который нельзя защитить ни перед заказчиком, ни перед собой через месяц.
Что забрать себе
- Правка критерия при известном результате — подгонка. Даже когда правка объективно верная: порядок действий важнее её правоты.
- Перепрогон вместо переразметки. Дороже, зато защитимо и воспроизводимо.
- Сырьё каждого захода хранится целиком. Иначе «мы не подгоняли» остаётся словом против слова.
- Отчёт стареет быстрее артефактов. При сверке файл с отметкой времени побеждает текст, кем бы текст ни был написан.