GPT-3 год спустя: что реально изменилось для бизнеса
Год после выхода GPT-3 - хороший момент, чтобы отделить реальные изменения от шума и понять, где языковые модели уже работают.
Год назад OpenAI выпустила GPT-3 через закрытое API. Разговоры начались немедленно: одни говорили, что это начало новой эры, другие - что очередная переоценённая модель. Прошёл год. Это хороший момент не для прогнозов, а для наблюдений.
Я не занимаюсь академическими оценками языковых моделей. Меня интересует практический вопрос: что из этого уже работает на уровне, полезном для обычного бизнеса?
Что действительно изменилось
Главное изменение - не сама модель, а то, что языковые возможности стали доступны через API. Раньше компания, которая хотела автоматизировать работу с текстом, должна была либо строить собственную модель (дорого, долго), либо довольствоваться очень узкими классификаторами. Теперь - вызвать API.
Это изменило порог входа. Прототип, который раньше требовал команды ML-инженеров и месяцев работы, теперь можно собрать за неделю. Это не значит, что он сразу попадёт в продакшн. Но это значит, что проверить гипотезу стало дешевле.
Реальные применения, которые я вижу работающими прямо сейчас: классификация входящих обращений, черновики ответов на типовые запросы, структурирование неструктурированных данных - например, извлечение полей из свободного текста.
Где ожидания не совпали с реальностью
Две вещи оказались сложнее, чем казалось в демонстрациях.
Первая - надёжность. Модель может дать отличный ответ на один вопрос и странный ответ на очень похожий. Это нормально для помощника, который помогает человеку. Это проблема для автономного процесса, где человека нет в петле.
Вторая - управляемость вывода. Бизнес-процессы требуют предсказуемого, структурированного вывода. Модель умеет это делать, но добиться стабильного результата требует работы с промптами и нескольких итераций - это отдельная инженерная дисциплина, которая только формируется.
Для каких задач это уже полезно
Я стараюсь думать об этом через призму конкретных задач, а не технологии в целом.
Задачи, где языковые модели дают реальную экономию прямо сейчас:
- первичная сортировка входящих обращений - определить тему и срочность до того, как это делает человек;
- черновики стандартных ответов - не финальный текст, а заготовка, которую редактирует оператор;
- извлечение данных из неструктурированного текста - из писем, договоров, заявок;
- синтез длинных документов - краткое изложение для руководителя.
Задачи, где я бы пока не ставил модель без человека в петле:
- любые решения с юридическими или финансовыми последствиями;
- коммуникация с клиентом от имени компании без проверки;
- всё, где ошибка стоит дорого и её сложно заметить.
Как оценивать, подходит ли задача
Три вопроса, которые я задаю, когда смотрю на задачу кандидата для языковой модели:
- Что происходит, если модель ошибётся? Насколько дорога ошибка и как быстро её обнаружат?
- Есть ли у нас данные для оценки качества - примеры правильных ответов, по которым можно измерить точность?
- Где в процессе стоит человек, который видит результат до того, как он уходит дальше?
Если на первый вопрос ответ "ошибка не страшна" или "её заметят быстро" - задача хорошо подходит. Если на третий вопрос ответа нет - процесс нужно перепроектировать перед тем, как добавлять модель.
Языковые модели - это рабочий инструмент. Не волшебство и не угроза. Просто инструмент, у которого есть области применения и области, где он пока ненадёжен.