Демо отвечает на вопрос возможности

Демо полезно, когда нужно быстро проверить, что модель, голос, данные и канал связи вообще могут работать вместе. Но оно редко отвечает на вопрос, как продукт будет вести себя каждый день в потоке реальных обращений.

Переход к production начинается там, где команда перестает оценивать только качество отдельных ответов и начинает проектировать эксплуатацию: мониторинг, handoff, обновление знаний, контроль ошибок и понятный ownership.

Production требует скучных контуров

Самые важные части production-агента часто выглядят неэффектно: логирование, разметка разговоров, алерты, rate limits, idempotent-интеграции, версия промптов, ручное выключение сценариев и понятные статусы для операторов.

Именно эти контуры делают AI-систему управляемой. Без них команда вынуждена доверять агенту вслепую, а это плохо работает там, где AI затрагивает клиентов, деньги или операционные процессы.

Запуск - это договор с операциями

Production-агент всегда меняет работу людей вокруг себя. Менеджер получает иной handoff, поддержка видит другие статусы, руководитель смотрит новые метрики, а клиент ожидает более быстрой реакции.

Поэтому запуск нужно проектировать как продуктовый и операционный процесс одновременно. Тогда AI становится не отдельной игрушкой, а частью системы, которую можно улучшать каждую неделю.

Контрольный список перед запуском

Этот список задает вопросы для совместной проверки инженерами и операционной командой. Ответы и допустимые пороги зависят от конкретного процесса; их нужно согласовать до включения реального трафика.

Что проверить на тестовых обращениях

  • Наблюдаемость: у обращения есть идентификатор, версия промпта и модели, временные метки этапов, исходы вызовов инструментов и статус передачи человеку; персональные данные в журналах защищены.
  • Handoff: описаны причина передачи, ответственный получатель, состав передаваемого контекста и действие, если получатель не подтвердил прием.
  • Интеграции: повторный webhook или сетевой retry не создает дубликат; тайм-аут и недоступность внешней системы оставляют обращение в понятном состоянии.
  • Выпуск: команда может найти неуспешные разговоры, выключить проблемный сценарий и вернуться к предыдущей версии без потери открытых обращений.
  • Оценка: до запуска выбраны выборка для ручного разбора, определение успешного обращения и метрики задержки, ошибок и ручного восстановления.