Что мы искали и чего не нашли
Разбирая рынок, мы сводили конкурентов в матрицу по признакам: что есть на сайте, что в кейсах, что в описании услуги. Один из признаков — наличие проверяемого критерия приёмки: по чему стороны поймут, что работа сдана.
| Кого разбирали | Что вместо метрики |
|---|---|
| 13 подрядчиков по внедрению ИИ | описание состава работ и сроков; критерия результата нет ни у одного |
| 12 кейсов обучающей программы | самозаявленные цифры роста без методики замера; ни одного кейса в логистике |
| Массовый конструктор ботов, 9000+ проектов | метрики нет по устройству продажи: продаётся инструмент, а не результат |
Последняя строка — не упрёк. Продавать инструмент без метрики результата логично: инструмент работает одинаково, а результат зависит от того, как им пользуются. Упрёк относится к тем, кто продаёт именно внедрение и результат — и при этом не говорит, чем он проверяется.
Как выглядит метрика, которую можно провалить
Пример из нашей услуги анализа конкурентов — пять пунктов, которые идут в договор:
- Покрытие. В отчёте не меньше заявленного числа сайтов, каждый разобран по всем 17 признакам. Сайт не открылся — заменяется другим из ниши, и замена названа в отчёте отдельной строкой, а не растворяется в общем числе.
- Проверяемость — главный пункт. К каждой положительной отметке приложен фрагмент страницы, по которому признак засчитан, с адресом и датой снятия. Клиент выбирает любые 10 клеток; если больше одной не подтверждается — переделываем за свой счёт.
- Срок. Отчёт на руках за 2, 4 или 7 рабочих дней в зависимости от охвата — отсчёт от согласования списка конкурентов, а не от «начала работ».
- Состав разделов. Ровно те разделы, что заявлены для выбранного охвата. Раздела нет — в отчёте написано, почему его нет.
- Обезличивание. Отчёт проходит гейт персональных данных до записи файла: чужие реквизиты, попавшие в приложенные фрагменты, вырезаны.
Три свойства работающей метрики
- Её считает клиент, а не подрядчик. Если для проверки нужен доступ к нашей внутренней системе — это отчёт, а не метрика.
- У неё есть цена провала. «Переделываем за свой счёт» превращает пункт из декларации в обязательство. Без последствий метрика не работает.
- Базовое значение снято до старта. Улучшение считается от замера, а не от воспоминания о том, «как было раньше». Это самый частый способ незаметно проиграть спор о результате — своими же руками.
Метрика курса: четыре показателя, которые считает сам заказчик
Обучение — самый удобный продукт для того, чтобы не иметь метрики: «сотрудники познакомились с нейросетями» никем не проверяется. Поэтому у курса метрика есть, и она устроена так же — считает её компания, а не мы.
| Показатель | Как считается |
|---|---|
| Доля задач с ИИ | сколько типовых операций роли делается с помощью модели |
| Время на типовую операцию | медиана, а не среднее — среднее прячет хвосты |
| Доля ответов, прошедших проверку с первого раза | по вашему же чек-листу приёмки |
| Число нарушений по данным | цель — ноль; считается по правилам красной зоны |
Базовые значения снимаются до старта курса, повторные замеры — через месяц и через три. Проверяемые навыки на выходе тоже сформулированы в измеримом виде: менеджер готовит ответ на нестандартный запрос клиента за 15 минут и меньше, диспетчер превращает сумбурное сообщение в структурированную заявку за 5 минут и меньше.
Честная граница, которую мы называем до продажи. Курс не измеряет выручку и не обещает числа заявок. Между навыком сотрудника и деньгами компании стоит слишком много других факторов, чтобы приписывать результат обучению. Обещаем навык, срок и четыре показателя выше — то, что действительно зависит от нас.
Что перенять у тех, кто считает лучше нас
Один приём мы взяли у конкурентов без стеснения: считать деньги там, где клиент их уже теряет, а не обещать рост. Кейс «вернули тех, кто записался и не пришёл» убедительнее кейса «увеличили продажи», потому что потеря уже случилась и её видно в данных клиента — спорить не о чем.
Второй приём — цифры из собственной базы как содержание, а не как реклама. Утверждение «у 8 из 10 проектов деньги теряются внутри диалогов» невозможно опровергнуть: это их данные и их выборка. У нас такие данные тоже есть — и этот журнал во многом о том, чтобы наконец превращать их в публичные цифры.