Что именно мерили
Задача формулировалась так, как её ставит живой человек: перечисли компании, работающие на таком-то рынке в такой-то нише. Дальше ответ сверялся с заранее собранным эталоном.
- Эталон — 52 реально работающих перевозчика, собранных вручную. Сам список мы не публикуем: карта рынка — рабочий актив, а не иллюстрация к статье.
- Полнота — доля эталона, попавшая в ответ. Не «похоже на правду», а поимённое совпадение с проверяемой компанией.
- Три прогона на участника, чтобы отделить разброс от разницы.
| Участник | Живой поиск | Полнота по эталону |
|---|---|---|
| Модель с поиском | есть | 15,4% (13,5–17,3) |
| Модель без поиска, 1 | нет | 7,7% |
| Модель без поиска, 2 | нет | 7,7% |
| Модель без поиска, 3 | нет | 3,8% |
| Модель без поиска, 4 | нет | 0% |
Главное в таблице — не порядок мест, а признак, по которому она делится надвое. Участники не выстроились по классу, цене или размеру модели. Они разделились ровно по одному техническому свойству: ходит участник в живой поиск или отвечает по памяти. Ось, которую хочется назвать «качеством анализа рынка», меряет наличие доступа.
Почему память модели не знает местного рынка
Ответ без поиска собирается из того, что попало в модель при обучении. Компании локального рынка услуг туда почти не попадают: у них нет ни массовых упоминаний, ни энциклопедических статей, ни устойчивого следа в открытых наборах текстов. Модель честно отвечает тем, что у неё есть, — и на такой задаче у неё нет почти ничего.
Наличие цитат — самый быстрый способ отличить одно от другого, не залезая в устройство сервиса. Участник-лидер сопровождал ответ 19–20 ссылками на источники. Ответ без единой ссылки — пересказ параметров, каким бы уверенным он ни выглядел.
Вторая задача: ноль реальных имён из шестнадцати ответов
Смежный сюжет в том же замере ставился мягче: назвать конкурентов по описанию бизнеса. Результат сверялся поимённо — по всем 16 полученным выходам. Ни один из пяти участников не назвал ни одного реального конкурента.
Ответы при этом выглядели нормально: структура, категории, рассуждение о нишах. Проверяемых имён в них не оказалось. Расхождение между «ответ выглядит содержательным» и «в ответе есть хоть один проверяемый факт» здесь максимальное из всего, что мы мерили.
Оговорка про наш замер. Рынок узкий и локальный — на широком международном рынке доля попаданий у моделей без поиска будет выше. Вывод про механизм от этого не меняется: разделяет участников доступ к выдаче, а не размер модели. Проверить это на своей нише стоит один вечер: эталон руками, три прогона, счёт совпадений.
Что забрать себе
- Собирайте эталон до замера, а не после. Без списка, с которым сверяются, любой ответ «выглядит полным». Полнота считается только против заранее известного набора.
- Смотрите на цитаты, а не на бренд модели. Нет ссылок на выдачу — ответ по памяти. Для разведки рынка этого достаточно, чтобы не начинать сравнение.
- Не стройте рейтинг моделей там, где ось меряет доступ. Четыре участника без поиска отличались друг от друга меньше, чем каждый из них — от участника с поиском.
- Считайте разведку черновиком. Даже лучший результат оставляет большую часть рынка неназванной, и какая именно часть пропущена — заранее неизвестно.