GPT-3 и новая планка для языковых моделей
Что означает выход GPT-3 для поиска, поддержки, аналитики текста и продуктового UX - взгляд для собственников и директоров.
В конце мая 2020 года компания OpenAI опубликовала статью с описанием GPT-3 - языковой модели с параметрами на порядок больше, чем у предшественников. Модель показала, что при достаточном масштабе языковые системы начинают справляться с задачами, на которые их не обучали явно. Суммаризация, перевод, написание кода, ответы на вопросы - всё это без отдельной тонкой настройки под каждую задачу.
Я слежу за развитием языковых моделей несколько лет. GPT-3 - не первая большая модель, и точно не последняя. Но она задаёт новую точку отсчёта, которую полезно понять на уровне бизнеса, а не только технически.
Что изменилось по сравнению с предыдущими моделями
Раньше для того, чтобы языковая модель хорошо решала конкретную задачу, её нужно было донастраивать на примерах именно этой задачи. Хотите классификатор тональности отзывов - нужны размеченные отзывы. Хотите модель для извлечения сущностей - нужна разметка сущностей.
GPT-3 демонстрирует принципиально другое: описание задачи на обычном языке и несколько примеров в тексте запроса - и модель начинает справляться с задачей без переобучения. Это то, что в профессиональном сообществе называют few-shot learning. Не нулевой уровень качества, но достаточный для многих практических сценариев.
Это не значит, что специализированные модели стали ненужны. Но это меняет разговор о том, когда имеет смысл начинать эксперимент.
Где это меняет продуктовые возможности
Поиск и работа с текстом. Один из узких мест корпоративных систем - поиск по документам, базам знаний, внутренним регламентам. Классический поиск работает по ключевым словам. Языковые модели понимают смысл запроса и могут находить релевантный ответ, даже если точных слов в документе нет. Для компаний с большим объёмом внутренней документации это меняет сценарий.
Клиентская поддержка. Не замена операторов, но другой уровень автоматической обработки обращений. Классификация, приоритизация, автоматические ответы на типовые вопросы становятся более точными, когда модель понимает естественный язык, а не только ключевые слова.
Аналитика неструктурированного текста. Отзывы клиентов, обращения в поддержку, публичные данные - огромный объём текста, который большинство компаний не умеют систематически анализировать. Языковые модели делают этот класс задач более доступным.
Интерфейс как запрос. Идея, что пользователь может взаимодействовать с системой через обычный текстовый запрос, а не через меню и формы - не новая. Но качество понимания у GPT-3 приближает её к практически применимому уровню для ряда сценариев.
Где ожидания стоит умерить
GPT-3 - это языковая модель, а не система знаний. Она генерирует правдоподобный текст, но не проверяет его на соответствие фактам. Для задач, где точность критична - юридические тексты, медицинские данные, финансовые расчёты - это существенное ограничение.
Модель очень большая. API доступен исследователям через ограниченный beta-доступ; до продуктовых сценариев в промышленном масштабе ещё дистанция. Это не сегодняшняя история для большинства бизнесов - это история ближайших нескольких лет.
Работа с персональными данными через внешние API создаёт регуляторные вопросы, которые нужно решить до, а не после.
Практический вывод
GPT-3 не меняет то, что нужно делать сегодня с данными и инфраструктурой. Но он поднимает ожидания относительно того, что будет возможно в ближайшие годы. Для компаний, которые работают с большим объёмом текста - в поддержке, в аналитике, в управлении знаниями - имеет смысл начать думать о том, где языковая обработка может создать реальную ценность, пока технология движется в сторону доступности.
Не как хайп-кейс, а как конкретный вопрос: какой текст в нашем бизнесе сейчас обрабатывается вручную, потому что нет достаточно хорошего инструмента?