обучение · работа с ИИ · приёмка и проверки
Система работы с ИИ
Курс для команд, которые уже пользуются ИИ и не могут проверить, где он соврал. Не про промпты — про приёмку, приборы и организацию работы. Каждый модуль стоит на нашем замере с числом, включая замеры, которые опровергли нас самих.
8 модулей · по 90 минут · курс идёт 4–6 недель · группа до 6 человек.
Построен на 131 замере, 70 классах ошибок и батарее из 45 тестов — на своей практике, не на пересказе чужих курсов.
Для кого
Чем этот курс отличается от остальных
Он не про промпты. Промпту учат везде, и это самая дешёвая часть работы. Курс про то, как устроить работу с ИИ, чтобы результату можно было верить: приёмка, проверка собственных приборов, пределы моделей, изоляция сессий, данные, деньги.
Каждый модуль стоит на нашем замере с числом — включая замеры, которые опровергли нас самих. Мы показываем на курсе, как «17 из 20» у нас не воспроизвелось ни разу, а «модель не соврала ни разу» оказалось артефактом одного прогона. Чужих кейсов в программе нет.
- Команды, которые уже пользуются ИИ каждый день и столкнулись с тем, что проверить результат нечем: ответы правдоподобные, ошибки находит клиент.
- Руководители, принимающие работу, сделанную с ИИ: нужен чек-лист приёмки, а не доверие к бодрому отчёту.
- Технические специалисты и аналитики, которые строят на ИИ собственные проверки, отчёты и инструменты — и не знают, врёт ли их прибор больше, чем измеряемое.
Для кого он НЕ нужен. Если задача — «отвечать на типовые вопросы по прайсу» или «сделать бота», курс лишний: это закрывается коробочным конструктором за десять минут, и мы говорим это прямо. Курс окупается там, где ИИ уже даёт результат, а цена ошибки в этом результате измеряется деньгами или репутацией.
На чём построена программа
Не на курсах, которые мы прошли, а на том, что мы измерили у себя.
| Основание | Объём | Что это даёт программе |
|---|---|---|
| Инвентарь замеров собственной работы | 131 сюжет | каждый модуль опирается на конкретный случай с числом, а не на общее правило |
| Реестр систематических ошибок | 70 классов из ~300 инцидентов | заранее известно, на чём споткнётся участник — эти места разбираются в упражнениях |
| Батарея тестов моделей | 45 тестов | пределы моделей показываются замером, а не мнением |
| Фикстуры на реальных инцидентах | 5 классов, 210 вызовов, n=3 | упражнения идут на материале с известным исходом — участник видит, прав он или нет |
| Разбор чужих источников по внедрению ИИ | 13 подрядчиков, 2 канала | отдельный модуль о том, как отличать проверяемое от продающего |
Формат
| Параметр | Значение |
|---|---|
| Модулей | 8 по 90 минут |
| Длительность курса | 4–6 недель (между модулями — работа на своих задачах) |
| Размер группы | до 6 человек — меньше, чем в базовом курсе: половина времени уходит на разбор работ участников |
| Формат | онлайн или на территории клиента (Алматы) |
| Подготовка | за неделю до старта собираем ваши реальные задачи и один процесс, где ИИ уже применяется — упражнения идут на нём |
| Предварительное требование | участники уже работают с ИИ. Это не первый курс; первый — «Обучение сотрудников работе с ИИ» |
Программа: 8 модулей
У каждого — на каком нашем замере он стоит, что участник делает руками и какой навык проверяется на выходе.
Модуль 1 · 90 минут · Приёмка: почему собственные тесты всегда зелёные
Замеры в основании: приложение прошло 20 из 20 своих тестов — состязательная проверка нашла 8 багов. Наш результат «17 из 20» не воспроизвёлся ни разу и лежал выше физического максимума. «Модель не соврала ни разу» оказалось артефактом одного прогона: в трёх последующих соврала во всех трёх. За один период владелец поймал 8 ошибок, ни один ИИ — ни одной.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Механизм | Почему проверяющий, участвовавший в создании, проверяет замысел, а не результат. Разбор трёх наших случаев с числами |
| 20 мин | Состязательная формулировка | «Проверь» против «найди ошибку» — разница на одном материале. Как ставить задание проверяющему, чтобы он не подтверждал |
| 35 мин | Практика в парах | Участник приносит свою задачу, сделанную с ИИ. Второй получает поручение сломать её, не видя рассуждений первого. Разбираем, что нашлось |
| 20 мин | Чек-лист приёмки | Собираем свой: что проверяется всегда, что — только для дорогих задач, какой пруф считается доказательством вместо слова «проверил» |
Проверяется на выходе
- формулирует состязательное задание, а не просьбу подтвердить;
- отличает «сделал» от «проверил, что работает», и требует пруф вместо вердикта.
Модуль 2 · 90 минут · Прибор врёт больше измеряемого
Замеры в основании: из 24 наших замеров 19 признаны недействительными — из-за дефектов самого стенда. Судья теста про подмену букв сам пал жертвой подмены букв. Гард персональных данных давал 97% ложных предупреждений. Стопроцентный провал по классу почти всегда означает дефект теста, а не моделей.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Симптомы больного прибора | 100% провал, 100% успех, ровные числа, проверка, которая краснеет почти везде — каждый симптом с нашим случаем |
| 20 мин | Позитивный и негативный контроль | Заведомо верный вход должен проходить, заведомо неверный — падать. Наш случай: контроль поймал, что стопроцентный результат был физически недостижим |
| 35 мин | Практика | Берём проверку участника (скрипт, чек-лист, промпт-судью) и строим к ней два контроля. Что упало — разбираем |
| 20 мин | Правило разделения | Прибор нельзя чинить в той же задаче, где по нему идёт приёмка. Как это оформить в процессе, а не в намерении |
Проверяется на выходе
- не выпускает вывод, пока прибор не прошёл оба контроля;
- по виду результата подозревает дефект стенда раньше, чем делает вывод о предмете.
Модуль 3 · 90 минут · Пределы моделей: условия замера решают больше, чем модель
Замеры в основании: одна и та же задача — 18 из 20 при запрете отказа и 1 из 20 при разрешении отказаться. На противоречии двух чисел на одной странице модели промахнулись 17 раз из 21. Пять моделей из пяти выдумали поле, которого не было в задании. Разница в 5 пунктов при трёх прогонах не доказывает ничего: разброс перекрывает разницу.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Что модели устойчиво не умеют | Сверка двух чисел между собой, нижняя граница диапазона, отличие ложной тревоги проверки от настоящего дефекта — с числами по каждому классу |
| 20 мин | Разброс и повторы | Почему n=1 — не результат, а n=3 — минимум. Как читать разницу между моделями, когда доверительный интервал шире разницы |
| 35 мин | Практика | Один свой вопрос: 3 прогона × 2 формулировки. Считаем разброс. Затем добавляем дословный критерий приёмки в задание и меряем снова — у нас этот приём убирал содержательные провалы полностью |
| 20 мин | Разрешать ли отказ | Разбор развилки: запрет отказа поднимает полноту и обрушивает точность. Как выбирать под задачу, а не по умолчанию |
Проверяется на выходе
- не делает вывод по одному прогону и называет разброс рядом с результатом;
- пишет критерий приёмки внутрь задания и осознанно решает вопрос про отказ.
Модуль 4 · 90 минут · Контекст: ответ в промпте — это не знание модели
Замеры в основании: семь из двадцати «правильных» ответов лежали прямо в тексте задания. Модель называла верное число при нуле обращений к инструментам — поймано канарейкой. Результат «12 из 12» после чистки превратился в 30 из 36, и просадка легла ровно туда, где ответ был в контексте. Файл, созданный уже после прогона, отравил бы любой перепрогон.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Загрязнение контекста | Четыре способа, которыми ответ попадает в вопрос: прямо в тексте, через историю диалога, через файл рядом, через память инструмента |
| 20 мин | Канарейка | Как построить проверку, отличающую «модель знает» от «модель прочитала». Наш приём и его ограничение: нельзя проверять состав своего контекста своим же контекстом |
| 35 мин | Практика | Ставим канарейку на свою задачу и перепрогоняем. Считаем, какая часть «правильных» ответов держалась на подсказке |
| 20 мин | Гигиена контекста | Что подавать, что убирать, где хранить постоянную часть. Наш замер: сокращение предзагрузки с 24 386 до 12 263 токенов — и почему главная выгода была не в деньгах |
Проверяется на выходе
- отделяет знание модели от подсказки в контексте и проверяет это, а не предполагает;
- не принимает результат прогона, сделанного после изменения окружения.
Модуль 5 · 90 минут · Организация: источник истины, изоляция, параллельная работа
Замеры в основании: рабочее дерево отставало на полторы тысячи изменений при внешне чистом состоянии. Две параллельные сессии чинили одно и то же место — одна выбросила свою работу целиком. Два наших правила взаимно отменяли друг друга. Правило в служебном файле пережило свою причину и спрятало 255 файлов.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Снимок против факта | Самый массовый класс наших ошибок: решение принимается по заметке, отчёту или доске, а они — снимок момента. Где лежит истина в вашем контуре |
| 20 мин | Свежесть и изоляция | Проверка «не устарело ли то, чем я меряю» перед выводом. Почему параллельные исполнители обязаны работать в изолированных копиях и чем это оплачивается |
| 35 мин | Практика | Разбираем контур участника: перечисляем все места, где живёт «правда», находим расхождения между ними. У нас это упражнение стабильно вскрывает 2–3 расхождения за раз |
| 20 мин | Подтверждение выкладки | Чем доказывается, что изменение доехало до пользователя. Наши уроки: отчёт исполнителя — мнение, лог выкладки — факт; прогон устаревшим инструментом — ложная приёмка |
Проверяется на выходе
- называет источник истины для каждого типа утверждения и проверяет по нему, а не по пересказу;
- перед выводом проверяет свежесть окружения и инструмента.
Модуль 6 · 90 минут · Данные, персональные данные и отказы
Замеры в основании: худший класс безопасности — не «хакерский», а персональные данные: 4 правильных ответа из 22. В классе, где верное поведение — отказ, прошло 232 из 316. Модель может отказаться на словах и выполнить на деле — судить надо по состоянию системы, а не по тексту ответа. Наш обезличиватель был слеп к казахской графике; сборщик переписки терял три четверти чатов и отрабатывал «успешно».
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Красная зона | Три категории данных, которые не уходят наружу, и приёмы обезличивания. Устойчивые псевдонимы вместо удаления — аналитика продолжает работать |
| 20 мин | Отказ как правильный ответ | Класс задач, где успех — это «не сделаю». Почему судить надо по состоянию, а не по словам, и как это проверять |
| 35 мин | Практика | Свой текст через обезличивание: смотрим, что реально ушло бы в модель. Отдельно — проверка «а не слеп ли инструмент»: сверяем выборку с составом источника |
| 20 мин | Успешный прогон ≠ полный результат | Главный урок этого модуля. Скрипт возвращает ноль ошибок и молча теряет 75% данных. Как ставить проверку полноты, а не только успешности |
Проверяется на выходе
- обезличивает до отправки и умеет показать, что именно ушло;
- проверяет полноту выборки против состава источника, а не по коду возврата.
Модуль 7 · 90 минут · Экономика: во что обходится качество
Замеры в основании: точный прибор оказался дороже приблизительного в 40 раз — и это посчитано, а не оценено. Бесплатная модель дала тот же результат, что модель за полдоллара за прогон, и была впятеро быстрее. Разница цены в 8 раз сработала в обе стороны: где-то дорогая окупилась, где-то нет. Переход на контракты вместо полного контекста дал экономию около 20 раз.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Формула стоимости операции | Вход и выход считаются отдельно; поправка на кириллицу; что в счёте не токены — и почему это большая его часть |
| 20 мин | Рычаги | Пакетный режим (−50%), кэш постоянной части промпта (0,1× от входа), каскад «дешёвая модель отсеивает — дорогая решает». Где каскад применим, а где ломает качество |
| 35 мин | Практика | Считаем одну свою типовую операцию по реальному примеру, добавляем невидимое (повторы, брак, служебные вызовы), применяем рычаги. Сравниваем с ручным временем в часах |
| 20 мин | Когда своё железо | Порог окупаемости считается, а не обсуждается. Наш расчёт: окупалось бы с 68 млн токенов в месяц при реальном профиле 1,2 млн |
Проверяется на выходе
- считает стоимость типовой операции и называет, где точность не окупается;
- проверяет вводные цены на срок действия — а не берёт сегодняшний прайс за постоянный.
Модуль 8 · 90 минут · Реестр ошибок: как перестать наступать дважды
Замеры в основании: ~300 наших инцидентов сведены в 70 классов. За один разбор — восемь классов ошибок за день, семь из восьми повторные, пять сводятся к одной операции. Дефект чаще возникает не в замере, а в пересказе замера. Наша собственная сверка воспроизвела ровно тот класс, который исправляла. Счётчик классов в шапке нашего же реестра врал.
| Время | Блок занятия | Что делаем |
|---|---|---|
| 15 мин | Формат записи | Симптом → первопричина → инциденты с датами → обход → чем закреплено. Почему без последней части запись бесполезна |
| 20 мин | Уровни закрепления | Машинный гейт, инструмент, правило в тексте, не закреплено. Наш случай: правило игнорировали месяц, пока оно не стало срабатывать автоматически |
| 35 мин | Практика | Каждый заводит три первых класса своей команды по реальным случаям последнего месяца и для каждого называет механизм. Разбираем, какие механизмы не сработают |
| 20 мин | Дисциплина ведения | Запись в тот же день; и удачи тоже, не только провалы; находка — это адрес и строка, а не «где-то у нас есть» |
Проверяется на выходе
- пишет класс ошибки в формате с обязательным механизмом закрепления;
- отличает закрытый класс от класса, закрытого только намерением.
Что команда уносит с курса
- Чек-лист приёмки работы, сделанной с ИИ, — собранный на ваших задачах, а не выданный шаблоном.
- Два контроля к каждой вашей проверке — позитивный и негативный, построенные на курсе.
- Карта источников истины вашего контура: где живёт правда по каждому типу утверждения.
- Расчёт стоимости типовой операции с применёнными рычагами.
- Заведённый реестр классов ошибок — минимум три первых класса с механизмами.
- Правила обращения с данными: красная зона по ролям и проверка полноты выборки.
Бланки можно посмотреть до оплаты. Все шесть лежат открыто, с образцом заполнения на наших замерах и правилом приёмки у каждого: раздаточные материалы курса. Заполняются они на ваших задачах — в этом и работа, — но что именно придётся заполнять, видно заранее.
Метрика приёмки курса
Считает заказчик, не мы. Базовые значения снимаются до старта, повторные — через месяц и через три.
| Показатель | Как считается |
|---|---|
| Доля выводов с названным источником истины | по выборке из 20 рабочих утверждений: у скольких указано, чем проверено |
| Доля результатов, принятых внешней проверкой | сколько работ прошло приёмку не-автором с первого раза |
| Повторные классы ошибок | сколько инцидентов месяца попали в уже заведённый класс — цель: доля растёт, а абсолютное число падает |
| Число нарушений по данным | цель — ноль |
Честная граница. Курс не измеряет выручку и не обещает, что ИИ станет ошибаться реже — ошибаться он будет так же. Меняется другое: ошибка находится вами до того, как её найдёт клиент. Это то, что мы беремся измерить; всё остальное — не наше обещание.
Чего мы сами ещё не закрыли
По нашему же правилу: изъян в предмете собственной компетенции называется вслух, иначе курс продаёт то, чего у автора нет.
Наложив пять профильных инженерных книг на свои системы, мы нашли у себя семь дыр. Четыре из них относятся ровно к тому, чему учит этот курс, и на занятиях они разбираются как живые примеры, а не как чужие ошибки:
| Наша дыра | Чем стреляла | Где в курсе |
|---|---|---|
| Сбои обнаруживаются человеком постфактум, мониторинга нет | сервер умер — узнали при попытке использовать; автосбор стоял 10 дней незамеченным | модуль 5 — «успешный прогон ≠ работающая система» |
| У наших структур данных нет схемы и версии формата | кодировка и служебные символы ломали инструменты; легаси-поле жило рядом с новым | модуль 6 — полнота и целостность выборки |
| Запись данных без атомарности и блокировок | один запрос обнулил базу заявок | модуль 1 — цена непроверенного изменения |
| У части боевого кода нет автотестов | провал ловится только в проде | модуль 2 — прибор, которого нет, — это не «всё хорошо» |
Это не оговорка ради скромности. Участник, который увидит, что автор курса показывает свои незакрытые дыры с числами, получает главный навык раньше первого модуля: так выглядит проверяемое утверждение.
Обсудить курс для вашей команды
Расскажите, сколько человек, чем они пользуются сегодня и какой процесс болит. Скажем, что из программы применимо, а что вам не нужно — и во сколько это обойдётся. Если по вашей задаче курс лишний, мы это тоже скажем.
Обсудим ваш проект
Оставьте заявку — свяжемся в течение 15 минут в рабочее время, зададим пару вопросов и пришлём ориентир по цене и срокам. Бесплатно, без обязательств.
- 1. Заявка или квиз
- 2. Короткий созвон / переписка
- 3. Бесплатная смета и план
- 4. Договор и старт