ИИ в 2023 году: что реально изменилось и что остаётся открытым
Середина ноября - хороший момент взять счёт. Не обзор хайпа, а честный взгляд на то, где произошло реальное движение и где разрывы сохраняются.
Мы достаточно близко к концу 2023 года, чтобы имело смысл подводить итоги. Это был необычный год в технологиях: произошли действительно значимые вещи, и они происходили быстро. Но разрыв между тем, что было объявлено, и тем, что реально работает в продакшне реальных компаний, остаётся большим. Я хочу быть конкретным в обоих направлениях.
Что явно сдвинулось
Потолок возможностей изменился. GPT-4 появился в марте и установил новую точку отсчёта для рассуждений, генерации кода и следования инструкциям. Разрыв между хорошо выстроенным вызовом GPT-4 и специализированной ML-моделью, построенной с нуля, для многих задач существенно сократился. Команды, работавшие над кастомными NLP-пайплайнами, были вынуждены переоценить подходы.
RAG стал реальным паттерном. Retrieval-augmented generation перешёл из исследовательской техники в то, что инженерные команды реально разворачивают. Инструментарий вокруг него - векторные базы данных, API эмбеддингов, оркестрационные фреймворки - достаточно созрел, чтобы опытная команда могла собрать работающий прототип за дни, а не месяцы.
Кривая стоимости сдвинулась. Цены на API существенно упали за год. Задачи, экономически нецелесообразные в январе, стали целесообразными к четвёртому кварталу. Это изменило набор проблем, которые имеет смысл решать с помощью LLM.
Модели с открытыми весами стали серьёзным вариантом. Llama 2 в июле, за которым последовала волна файн-тюненных производных, изменила расчёты для организаций с требованиями к конфиденциальности данных или необходимостью развёртывания на частной инфраструктуре. Запуск способной модели без отправки данных во внешний API теперь реальный вариант для многих задач.
Что изменилось меньше, чем следовало из медиапокрытия
Надёжность в продакшне. Частота галлюцинаций улучшилась, но не исчезла. Для любых задач, где важна точность - юридических, медицинских, финансовых, клиентских - вывод модели по-прежнему требует человеческой проверки или надёжной валидации перед принятием действий. Инструментарий для этого слоя валидации всё ещё незрелый.
Готовность данных в большинстве организаций. Разрыв между «модель теоретически может это сделать» и «у нас есть инфраструктура данных, чтобы реально использовать модель для этого» шире, чем большинство компаний обнаружили только после начала пилотов. Проблемы с качеством и доступом к данным, предшествующие ИИ, не решились.
Навыки для построения и эксплуатации AI-систем. Промпт-инжинирингу можно обучиться быстро. Построение надёжных производственных AI-систем - с фреймворками оценки, мониторингом, резервным поведением и управлением стоимостью - требует навыков, которых у индустрии пока не хватает.
Что принесёт 2024 год
Фокус предприятий сместится с доказательства концепции на операционализацию. Компании, потратившие 2023 год на пилоты, в 2024-м либо переведут их в производственные системы, либо тихо закроют. Различие между двумя исходами будет зависеть меньше от технологии ИИ и больше от дисциплины данных, интеграционной работы и организационной готовности переосмыслить рабочие процессы.
Экосистема открытых весов продолжит созревать. Для многих бизнес-приложений среднеразмерная модель на частной инфраструктуре превзойдёт большую внешнюю модель - не потому что модель лучше, а потому что ограничения развёртывания и доступ к данным лучше.
Я остаюсь осторожным с прогнозами. Темп изменений в этом году был действительно необычным. В чём я уверен: разрыв между объявлением и продакшном будет определяющим вызовом 2024 года, а не возможности моделей.