раздел 05

Проверить за неделю

У вас есть кандидат из правого верхнего квадранта. Не торопитесь объявлять его рабочим процессом. Сначала - мини-пилот: маленькая проверка, которая укладывается в неделю и даёт честный ответ, стоит ли продолжать.

Пилот защищает от двух крайностей: бросить хорошую идею после одной неудачной попытки и, наоборот, тащить в работу кейс, который на деле не лучше ручного способа.

Шаг 1. Сформулируйте критерий успеха заранее

До первого запроса к модели запишите, что будете считать успехом. Иначе после пилота вы подгоните оценку под результат.

Критерий конкретный и измеримый. Например: «8 из 10 саммари встреч пригодны без правок или с правками меньше минуты» или «черновик ответа клиенту устраивает меня в 7 случаях из 10». Цифры можно свои, но они должны быть заданы заранее.

Шаг 2. Прогоните на 10-20 реальных примерах

Не на одном и не на выдуманном. Возьмите 10-20 настоящих случаев из вашей работы и прогоните каждый через модель. Один пример ничего не доказывает: повезло или не повезло. Десять-двадцать показывают, как кейс ведёт себя в среднем.

По ходу подправляйте промпт - это нормально и входит в пилот. Вы заодно учитесь формулировать задачу модели.

Шаг 3. Сравните с тем, как делаете сейчас

Главный вопрос пилота - не «работает ли AI», а «лучше ли это, чем сейчас». Сравните по двум осям честно.

как сейчас
Ручной способ
  • · Сколько минут уходит на одну задачу
  • · Какое качество выходит у вас руками
  • · Сколько таких задач в неделю
  • · Насколько это вас выматывает
с AI
Способ с моделью
  • · Сколько минут с учётом проверки и правок
  • · Качество черновика и сколько надо доводить
  • · Стабильно ли держится результат на разных примерах
  • · Где модель регулярно мажет

Считайте полное время с AI: запрос плюс проверка плюс правки. Кейс, где правки съедают всю экономию, успехом не считается, даже если ответы выглядят красиво.

Шаг 4. Решение go / no-go

Сравните результат с критерием из шага 1 и примите одно из трёх решений.

  • Go - критерий выполнен, способ с AI ощутимо лучше. Превращаем пилот в постоянный процесс.
  • No-go - критерий не выполнен. Не цепляйтесь: вернитесь к матрице и возьмите другого кандидата. Это не провал, а сэкономленное время.
  • Доработать - близко к цели, но мешает одна конкретная вещь (формат, нехватка контекста в промпте). Поправьте её и прогоните ещё 10 примеров.

Цель пилота - не доказать, что AI хорош. Цель - честно узнать, стоит ли этот кейс вашего времени. No-go за неделю лучше, чем разочарование за месяц.