Почему ИИ-проекты не доживают до результата: пять повторяющихся паттернов
Анализ типичных причин, по которым ИИ-инициативы останавливаются или не приносят обещанного эффекта - и что с этим делать.
2018 год в ИИ был насыщенным: BERT поднял планку для NLP, количество компаний, запустивших ИИ-пилоты, резко выросло, венчурное финансирование в ИИ продолжает расти. На этом фоне есть менее заметная статистика: большинство ИИ-проектов не доходят до производственного использования.
Я наблюдаю это достаточно часто, чтобы видеть повторяющиеся паттерны. Не каждый раз новая уникальная ситуация - те же несколько ошибок в разных вариациях.
Паттерн 1: технология ищет задачу
Самый распространённый вариант - начать с технологии, а не с проблемы. "Мы хотим внедрить машинное обучение в наш процесс". Какой процесс? Какую проблему он решает? Какова цена этой проблемы?
Когда ответов на эти вопросы нет, команда начинает искать задачу, которая подошла бы под технологию. Это обратный порядок. Задача должна предшествовать технологии.
Паттерн 2: нереалистичные ожидания от пилота
Пилот запускается с ожиданием "если результат хороший - сразу масштабируем". Но критерии "хорошего результата" не определены заранее. Технические метрики выглядят неплохо, но связь с бизнес-результатом не установлена.
Через несколько месяцев команда показывает "работающую модель", которая технически исправна, но влияние на бизнес-метрики невозможно измерить. Проект застревает в неопределённости.
Паттерн 3: данные недооценены
Об этом много говорят, но паттерн не исчезает. Пилот запускается на "готовых" исторических данных. При попытке перейти в продакшн оказывается, что получать эти данные в реальном времени сложно, они не в том формате, или их нет вообще - только похожие, но не те.
Работа с данными оказывается больше, чем работа с моделью. Это нормальная ситуация, но она требует включения в планирование.
Паттерн 4: нет владельца после запуска
Пилот строит команда дата-сайентистов. Они запускают систему в продакшн. Дальше - следующий проект. Система работает без присмотра. Через несколько месяцев качество деградировало, входные данные изменились, никто не отследил.
ИИ-система - это не обычная функциональность, которую однажды написали и забыли. Это живая система, требующая регулярного внимания.
Паттерн 5: внутреннее сопротивление не учтено
Система классифицирует обращения клиентов - значит, кто-то из операционной команды теряет часть своей работы или меняет характер работы. Система рекомендует кредитные решения - значит, кредитные аналитики воспринимают её как угрозу своему опыту.
Если не работать с этим сопротивлением явно, система технически работает, но не используется. Или используется формально, без реального доверия.
Что с этим делать
Паттерны повторяются, потому что они не технические - они управленческие.
Несколько вопросов, которые стоит задать до старта:
- Какую конкретную бизнес-проблему мы решаем, и как измерим успех в бизнес-терминах?
- Откуда возьмутся данные в продакшне, кто это проверил?
- Кто будет владельцем системы после запуска, и что входит в его обязанности?
- Как изменится работа людей, чья деятельность затрагивается системой, и как мы с этим работаем?
- Какой минимальный результат пилота нас устраивает - до того, как мы его запустим?
ИИ-проекты не провальные по природе. Они провальные, когда управленческая подготовка не соответствует технической.